使用Python从网站查询数据（网页抓取）时，如何避免被服务器阻止？

Question

我试图使用python请求并机械化从网站收集信息。这个过程需要我发布一些信息，然后从该网站获取结果。我使用Python中的for循环使此过程自动化。但是，经过约500次查询后，我被告知我由于查询率高而被屏蔽。每个查询大约需要1秒钟的时间。我在网上使用一些软件，他们可以毫无问题地查询多个数据。谁能帮助我避免这个问题？谢谢！

不知道如何解决这个问题。

---我正在循环执行此过程（通过自动更改案例编号）并将数据导出到csv。...

查询后，我被告知我的IP被阻止了。

Answer 1

1. 请求之间的最佳随机延迟时间。
2. 针对的随机化的真实用户代理 每个请求。
3. 启用cookie。
4. 使用有效的代理池和 为每个请求选择一个随机代理。