基础知识

Question

我正在尝试用Java创建我的第一个程序。目标是编写一个浏览网站并为我下载文件的程序。但是，我不知道如何使用Java与互联网进行交互。谁能告诉我哪些主题可以查找/阅读或推荐一些好的资源？

Answer 1

最简单的解决方案（不依赖于任何第三方库或平台）是创建指向您要下载的网页/链接的URL实例，并使用流读取内容。

例如：

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;


public class DownloadPage {

    public static void main(String[] args) throws IOException {

        // Make a URL to the web page
        URL url = new URL("http://stackoverflow.com/questions/6159118/using-java-to-pull-data-from-a-webpage");

        // Get the input stream through URL Connection
        URLConnection con = url.openConnection();
        InputStream is =con.getInputStream();

        // Once you have the Input Stream, it's just plain old Java IO stuff.

        // For this case, since you are interested in getting plain-text web page
        // I'll use a reader and output the text content to System.out.

        // For binary content, it's better to directly read the bytes from stream and write
        // to the target file.


        BufferedReader br = new BufferedReader(new InputStreamReader(is));

        String line = null;

        // read each line and write to System.out
        while ((line = br.readLine()) != null) {
            System.out.println(line);
        }
    }
}

希望这有帮助。

Answer 2

基础知识

看看这些是从头开始建立一个或多或少的解决方案：

从基础开始：The Java Tutorial的chapter on Networking，包括 Working With URLs
让自己更轻松：Apache HttpComponents（包括HttpClient）

轻松粘合和缝合的东西

您始终可以使用exec()和类似方法从Java调用外部工具。例如，您可以使用wget或cURL。

Hardcore Stuff

然后，如果你想进入更成熟的东西，谢天谢地，需要进行自动化的网络测试，因为我们为此提供了非常实用的工具。看看：

HtmlUnit（功能强大且简单）
Selenium，Selenium-RC
WebDriver/Selenium2（仍在开发中）
JBehave与JBehave Web

其他一些lib是有目的地编写网络报废：

JSoup
Jaunt

一些解决方法

Java是一种语言，但也是一个平台，其上运行着许多其他语言。其中一些集成了很好的语法糖或库，可以轻松构建剪贴板。

退房：

Groovy（及其XmlSlurper）
或Scala（提供了出色的XML支持here和here）

如果您知道Ruby（JRuby，article on scraping with JRuby and HtmlUnit）或Python（Jython）的优秀图书馆，或者您更喜欢这些语言，然后给他们的JVM端口一个机会。

一些补充

其他一些类似问题：

Answer 3

以下是使用URL和try with resources词组来捕捉异常的解决方案。

/**
 * Created by mona on 5/27/16.
 */
import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStream;
import java.io.InputStreamReader;
import java.net.MalformedURLException;
import java.net.URL;
public class ReadFromWeb {
    public static void readFromWeb(String webURL) throws IOException {
        URL url = new URL(webURL);
        InputStream is =  url.openStream();
        try( BufferedReader br = new BufferedReader(new InputStreamReader(is))) {
            String line;
            while ((line = br.readLine()) != null) {
                System.out.println(line);
            }
        }
        catch (MalformedURLException e) {
            e.printStackTrace();
            throw new MalformedURLException("URL is malformed!!");
        }
        catch (IOException e) {
            e.printStackTrace();
            throw new IOException();
        }

    }
    public static void main(String[] args) throws IOException {
        String url = "https://madison.craigslist.org/search/sub";
        readFromWeb(url);
    }

}

您还可以根据需要将其保存到文件中，或使用XML或HTML库进行解析。

Answer 4

自 Java 11 以来，它是使用标准库中的 java.net.http.HttpClient 的最便捷方式。

示例：

HttpRequest request = HttpRequest.newBuilder(new URI(
    "https://stackoverflow.com/questions/6159118/using-java-to-pull-data-from-a-webpage"))
  .timeout(Duration.of(10, SECONDS))
  .GET()
  .build();

HttpResponse<String> response = HttpClient.newHttpClient()
  .send(request, BodyHandlers.ofString());

if (response.statusCode() != 200) {
  throw new RuntimeException(
    "Invalid response: " + response.statusCode() + ", request: " + response);
}

System.out.println(response.body());

Answer 5

我的 API 使用以下代码：

try {
        URL url = new URL("https://stackoverflow.com/questions/6159118/using-java-to-pull-data-from-a-webpage");
        InputStream content = url.openStream();
        int c;
        while ((c = content.read())!=-1) System.out.print((char) c);
    } catch (MalformedURLException e) {
        e.printStackTrace();
    } catch (IOException ie) {
        ie.printStackTrace();
    }

您可以捕获字符并将它们转换为字符串。

使用Java从网页中提取数据？

5 个答案:

基础知识

轻松粘合和缝合的东西

Hardcore Stuff

一些解决方法

一些补充