ScraperWiki是否限制了它正在抓取的网站？

Question

ScraperWiki会以某种方式自动限制抓取速度，还是应该在循环中添加sleep（1 * random.random（））等内容？

Answer 1

没有自动速率限制。您可以添加用您的语言编写的睡眠命令来添加速率限制。

很少有服务器检查速率限制，通常包含公共数据的服务器不会。

但是，最好确保不要超出远程服务器。默认情况下，scraper只在一个线程中运行，因此对您可以生成的负载存在内置限制。