使用蜘蛛获取源代码的权限

Question

我正在使用python创建一个Web蜘蛛。我是否需要担心来自任何网站的扫描内容的权限？如果是这样，我怎么得到那些？提前致谢

Answer 1

robots.txt文件确实有限制。

如果您经常抓取并阅读网站底部的保留权限，最好通知网站所有者。最好为您的内容来源提供链接。