如何处理dotdefender web scraping blocks python

Question

我正在为一个研究项目抓取网站，这是我第一次遇到＆＃39;

 dotdefender blocked your request."

我没有做任何恶意的事;只是抓取基本信息。是否有可能让他们知道这个和/或克服障碍？

这里是site。

Answer 1

有些网站即使不是恶意网站也会阻止抓取。您可以尝试通过代理运行抓取，但取决于您抓取的速度和代理的质量，您最终可能会被阻止。如果您正在进行少量数据收集，则代理应该可以正常工作，但如果您的数量较大，则可能需要考虑高级服务，而不是IP rotation service（认为高级代理）。

您也可以尝试TOR，但仍可能遇到速度问题。

对于Proxies，有很多免费和付费选项，但质量很难衡量。