为什么抓取relatedwords.org没有显示结果?

时间:2020-06-21 10:35:19

标签: web-crawler jsoup

我正在尝试检索relatedwords.org网站中的相似单词,但是在源代码中没有显示单词的块。这是我正在使用的代码:

public class SimilarWords {

public static void main(String[] args) throws IOException {

    Document homePage = Jsoup.connect("https://relatedwords.org/relatedto/towing").ignoreHttpErrors(true).get();

    System.out.println(homePage);

}

}

可能是什么原因?

1 个答案:

答案 0 :(得分:1)

您基本上是在请求错误的网址。

https://relatedwords.org/relatedto/towing返回与https://relatedwords.org

相同的结果

如果您检查浏览器发出的请求,您会看到一个XHR请求,该请求正在为搜索词https://relatedwords.org/api/related?term=towing

请求实际答案。

这是您必须查询的URL。它将整齐地以JSON格式返回您的数据。

您可以使用浏览器中的开发人员工具检查请求。按F12 enter image description here