您使用Jsoup库获取此网页的源代码
URL =" HTTP://ww3.365planetwinall.net/Sport/OddsAsync.aspx事件ID = 257612"
使用此代码,但返回代码源缺少很多div!我试过没有userAgent,我得到同样的东西
doc =Jsoup.connect("http://ww3.365planetwinall.net/Sport/OddsAsync.aspx?EventID=257612")
.userAgent("Mozilla/5.0 (Windows; U; WindowsNT 5.1; en-US; rv1.8.1.6) Gecko/20070725 Firefox/2.0.0.6")
.referrer("http://www.google.com")
.get();
String html=doc.toString();
System.out.println(html);
答案 0 :(得分:1)
您尝试访问的网址可能会通过JavaScript呈现其内容。 Jsoup无法解决这个问题,所以你运气不好。我看到了两个选项:
使用selenium webdriver代替Jsoup。这个遥控器控制一个真正的浏览器,它可以运行JavaScript并按照您的预期呈现所有页面内容。这个解决方案很慢,但它可以帮助你。
通过浏览器网络选项卡确定此页面执行的AJAX调用,并通过Jsoup直接加载这些资源。内容通常不是HTML而是JSON甚至是其他格式。你需要花一些时间来了解正在发生的事情,但作为奖励,你仍然可以使用Jsoup来获得比selenium快得多的页面。