网络抓取代理

Question

我目前正在使用网络抓取工具（Octoparse）从某些网站中提取信息。以前，我能够使用代理来提取信息。我无法使用自己的IP地址，因为在提取了一些我将被阻止的项目之后。最近，该网站似乎阻止代理访问该网站（见下面的截图）。我当然可以找到其他网站，但它们并没有像这个一样好。我可以知道是否有办法解决这个问题？

PS：我是一名学生，只想提取信息，制作用于学习的闪存卡，并且没有任何恶意。

Answer 1

我注意到你提到了Octoparse。据我所知，Octoparse提供IP代理。但是，在不同版本中使用IP代理是完全不同的。您应该手动添加文本框中的IP代理，如果您使用标准版或专业版，Octoparse将提供超过500个第三方代理以进行自动IP轮换。因此，如果您自己没有IP代理，我建议您使用标准版。如果您想了解更多信息，可以按照教程Use Proxy Servers for Anonymous Web Scraping了解详情。