我正在学习使用JSoup（慢慢地）来解析网站的源代码，但我觉得自己已接近尾声了。也就是说，我不完全确定我应该研究哪些方法。
理论上，我想开发一个应用程序来筛选特定的搜索页面（例如Google，Monster，Craigslist，eBay等）并提取某些数据。这些数据可能在第一页上，但它可能是列表中的10多页（在Google中，显然可能是数百页）。无论是搜索结果（Google），职位发布（Monster）还是待售商品（Craigslist / eBay），我该如何完成这项工作？
直到最近我才知道JSoup。我并没有“坚持”使用它。但是，我的研究让我相信使用JSoup会给我想要的结果。所以，我正在努力学习如何使用它来做我想要的。 （如果有人知道任何广泛的初学者教程，请告诉我）
那我该怎么做呢？我知道这是一个模糊的问题，但我有一个目标，我不确定我是怎么做到的。
我还考虑过在可用时使用/搜索RSS提要（即Craigslist）。这比尝试直接从站点/源代码中获取更容易，更容易还是更难？
最重要的是，我希望能够在新信息出现时发送用户通知（Craigslist / eBay上出售的新商品，Monster上的新工作等）。我知道一个单独的主题，一个我可以理解我很确定。
提前致谢！
答案 0 :(得分：3)
你的回答有点模糊，所以我会尽量覆盖。
Jsoup是一个HTML/XHTML parser库。这意味着它可以对某个URL发出GET或POST请求，并获取服务器生成的内容。然后，它解析此内容以使用java对象构建DOM表示。
问题是你的例子。您提到Google和Monster。据我所知，这些网站使用Ajax来从服务器检索内容。他们使用javascript来生成动态内容。 Jsoup无法处理javascript生成的内容。这是由于无法执行javascript。它当然可以＆＃34;看＆＃34;因为它包含在服务器的响应中，但它将其视为简单的文本，而不是代码。浏览器可以处理这种内容，因为它包含javascript执行引擎。
一般来说，更安全/更好/更容易从API来源获取内容。它提供rss feed还是API？然后使用它。例如Google provides a way以编程方式执行搜索查询。
如果来源没有提供以编程方式访问它，那么当且仅当内容是静态时，您才可以使用Jsoup解析内容。为了确定内容是静态的还是由javascript生成，请访问要解析的站点，然后按 Ctrl + U 。 HTML的网格是Jsoup在您向网站发出请求时会收到的内容。如果您需要的内容不包含在内，则内容是动态的。在这种情况下，您必须使用headless browser，这是一个库/框架，其中包括javacript执行引擎。这样您就可以100％模拟浏览器。
就教程而言，this将涵盖您对Jsoup的所有需求。如果生成的内容为javacript，则可以使用无头浏览器检索内容，然后使用Jsoup解析已检索的内容，仅用于解析而不是获取内容。
我提供的材料足以继续您的研究。为了获得更好的信息，您必须具体了解您所面临的问题。
<强>更新