掩盖java jsoup web crawler作为谷歌机器人下载网页

Question

我在网络抓取工具中使用Jsoup。这是我用来下载网页的代码。

String ua = "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_6_8) AppleWebKit/534.30 (KHTML, like Gecko) Chrome/12.0.742.122 Safari/534.30";
Document doc = Jsoup.connect(url).userAgent(ua).timeout(20000).get(); 
Elements links = doc.select("a[href]");

如何将我的java程序屏蔽为googlebot？

Answer 1

使用以下userAgent

  

Mozilla / 5.0（兼容; Googlebot / 2.1; + http://www.google.com/bot.html）

Read More