我们希望对使用cloudflare的特定网址进行一些抓取。在尝试抓取cloudflare托管网站时，是否有人使用Zombie.js / user-agents遇到问题。
会喜欢一些帮助！
答案 0 :(得分：1)
我正在尝试与客户端网站上的API进行交互，但我确实收到了403错误。该请求甚至无法到达我的服务器。
将安全性转移到＆＃34;基本上关闭＆＃34;没有帮助。最终的解决方案是将开发者机器的IP列入白名单。
使用符合标准的库的Java客户端在单个URL（json服务API）上触发错误。
解决方案： 1.尝试设置规则以允许直接访问该URL 2.尝试将安全性设置为更弱和更弱（＆＃34;基本上关闭＆＃34;） 3.如果两者都失败：尝试列入白名单 4.设置备用非cloudflare url（direct.domain.com）
这些当然只有在您可以与网站所有者协商时才有效。
备份解决方案：使用嵌入式浏览器，您可以＆＃34;框架＆＃34;和＃34;遥控器＆＃34;或通过插件执行相同操作的测试框架，并从那里提取内容（如果可以） 希望这可以帮助。
答案 1 :(得分：0)
您可能通过尝试抓取我们的网站来触发我们的安全功能之一。实际上，唯一的选择是要求网站所有者将您的IP列入白名单以覆盖该行为。