如何使用Java获取外部网页的XMLHTTPRequest响应文本？

Question

我努力解析来自外部网站的数据，例如stackoverflow.com，只使用Java。 要了解此网页的内容，我访问了 Chrome开发工具，并在XMLHTTPRequest response找到了我需要的所有信息！如果它有用，响应具有JSON格式。问题是如何仅使用Java和没有Servlet来获取这些数据。

Answer 1

请勿尝试抓取并解析网页，只需使用StackExchange API和标准Java工具发出请求并获取原始数据。

如果您的实际问题并非直接与SO相关，那么请查找相关网站的API。否则，您需要通过手动解析或在浏览器引擎中运行页面以及在无头引擎中使用标准JS来获取数据，从字面上抓取网页。