jsoup没有刮掉所有元素？

Question

jsoup

从具有200个元素的网站抓取数据时，输出只是200个元素中的前49个或50个元素，为什么？   - 我怎么能解决这个问题。得到所有200个元素数据？``

Document d = Jsoup.connect("https://www.ebay.com/sch/i.html?_from=R40&_trksid=p2047675.m570.l1313.TR0.TRC0.H0.Xsilver.TRS0&_nkw=silver&_sacat=0").timeout(6000).get();
Elements ele = d.select("div#ResultSetItems");

for (Element element : ele.select("li.shic")) {
    String img_url = element.select("li").attr("listingid");
    System.out.println(img_url);
}

Answer 1

其他元素是由Javascript按需提取的，这些日子很常见，因此它们对JSoup是不可见的。没有办法让JSoup执行这些提取，所以你必须想出一个比抓取更好的方法来获取数据。我建议你看一下API options that EBay offers。