Question

我想使用HTTP GET和POST命令从网站检索URL并解析HTML。我该怎么做？

Answer 1

您可以将HttpURLConnection与URL结合使用。

URL url = new URL("http://example.com");
HttpURLConnection connection = (HttpURLConnection)url.openConnection();
connection.setRequestMethod("GET");
connection.connect();

InputStream stream = connection.getInputStream();
// read the contents using an InputStreamReader

Answer 2

这个滴答/批准的答案来自robhruska - 谢谢。这显示了最基本的方法，它很简单，了解了进行简单URL连接所需的内容。但是，长期策略是使用HTTP Client 更高级和功能丰富的方式来完成此任务。

谢谢大家，以下是快速回答：

URL url = new URL("http://example.com");
HttpURLConnection connection = (HttpURLConnection)url.openConnection();
connection.setRequestMethod("GET");
connection.connect();

InputStream stream = connection.getInputStream();
// read the contents using an InputStreamReader

Answer 3

执行GET最简单的方法是使用内置的java.net.URL。但是，如上所述，httpclient是正确的方法，因为它将允许您和其他人处理重定向。

要解析html，您可以使用html parser。

Answer 4

使用http://hc.apache.org/httpclient-3.x/

Answer 5

我在项目中使用了JTidy，效果很好。其他解析器的列表是here，但除了JTidy，我不知道它们中的任何一个。

如何使用Java从网站检索URL？

5 个答案: