Google学术搜索检测到我想用PHP中的curl对其进行抓取

时间:2018-07-09 06:34:16

标签: php curl web-scraping google-scholar

我正在尝试使用PHP中的curl抓取Google Scholar。我已经为curl定义了用户代理,并通过创建cookie目录启用了CURLOPT_COOKIEFILE和CURLOPT_COOKIEJAR。但是,Google会自动检测到我在抓取它。我认为这可能是因为curl无法解析JavaScript代码,但是我不确定。

是否可以在PHP中使用curl抓取Google Scholar?我需要使用无头浏览器吗?如果是,我如何配置无头浏览器以在PHP中使用curl?我可以在PHP上使用其他编程语言,并以某种方式使它们一起工作以向用户提供图形输出吗?

预先感谢

0 个答案:

没有答案