Groovy：Cyber​​Neko |用户代理|浏览器版本

Question

我目前正在使用Cyber​​Neko试图从网站上获取我想要的信息。但是，我相信网站会检查用户代理/浏览器版本，以防止仅仅抓取网址内容。

我知道使用htmlunit更改浏览器版本，但不确定我是否可以使用Cyber​​Neko进行此操作。

有谁知道是否可以做这样的事情？

Answer 1

我从未使用过Cyber​​Neko，但我认为它只是一个HTML解析器，即我认为你不能用它来发出HTTP请求，实际上下载网页。< / p>

可能是Cyber​​Neko发出的HTTP请求缺少各种标头，例如用户代理标头。确保HTTP请求看起来像是从浏览器发送的请求的简单方法是使用HttpClient而不是Cyber​​Neko来下载网页。有一些示例代码here。

成功下载页面后，请使用Cyber​​Neko解析您感兴趣的位。