使用jsoup </div>刮取<div class =“nutrition标签”>中的数据

时间:2014-01-31 13:17:15

标签: web-scraping jsoup scrape

我想抓取<div class="nutrition-label">内的数据  使用jsoup我正在使用: Element element = doc.select("div.nutrition-label"); 元素总是空的,有什么帮助吗? 该网站是http://caloriecount.about.com/calories-bananas-i9040 此致

1 个答案:

答案 0 :(得分:1)

您请求的网站无法识别您的使用者,这会导致您使用空元素。

将useragent设置为类似下面的内容应该会呈现您想要的结果。

Document doc = Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/32.0.1667.0 Safari/537.36").get();
        Elements el = doc.select("div.nutrition-label");