绕过Cloudflare Scrapeshield

Question

我正在开展webscraping项目，我遇到了cloudflare scrapeshield的问题。有谁知道如何绕过它？我正在使用selenium webdriver，它被scrapeshield重定向到一些lightspeed页面。在firefox上使用python构建。浏览通常不会导致它重定向。 webdriver与常规浏览器有什么不同吗？

Answer 1

看看，scrapeshield在检查您是否使用真正的浏览器时会做什么，它实际上是在检查浏览器中是否存在某些错误。我们可以说Chrome如果同时在行中有IFrame则无法处理303 error，某些网络浏览器会对不同的测试做出不同的反应，所以webdriver不能对这些做出反应导致系统说'＃34;我们有一个入侵者，改变了页面！＆＃34;。我可能是正确的，但不是100％肯定...

关于来源的更多信息：

我在Defcon上发现了大部分有关网络嗅探器的信息，并阻止他们在服务器上获取正确的漏洞信息，他也在PHP中创建了一个Web浏览器标识符。

Answer 2

＆＃34;我正在使用selenium webdriver，它被scrapeshield重定向到某个光速页面。＆＃34; - 这不是Scrapeshield的工作原理。

此外，我建议关闭此主题，因为您要求绕过网站所有者故意决定在其网站上启用的安全功能的帮助，以阻止人们抓取他们的内容。