嗨嗨，bhw的成员们，这是我发的第一篇帖子。我想知道如何了解爬取网站的法律方面，以便我能保持安全。例如，如何爬取YouTube等。附注：只有有经验的爬取程序员回复。
P pamogiftre1970 New member 2021-09-01 #1 嗨嗨，bhw的成员们，这是我发的第一篇帖子。我想知道如何了解爬取网站的法律方面，以便我能保持安全。例如，如何爬取YouTube等。附注：只有有经验的爬取程序员回复。
B budessisi1977 New member 2021-09-01 #3 网站应该有一个robots.txt文件，声明机器人可以爬取的资源等。 https://www.google.com/robots.txt https://en.wikipedia.org/robots.txt
网站应该有一个robots.txt文件，声明机器人可以爬取的资源等。 https://www.google.com/robots.txt https://en.wikipedia.org/robots.txt
