从url目录下载java

时间:2017-07-29 00:19:43

标签: java string url web-scraping download

我需要开发一些可以检测任何外部链接或目录的代码,进入该目录然后下载该目录中的内容。 我正在使用一个在新目录中发布新文件的服务(目录以创建它的时间戳命名,文件名称是一致的)我需要从该目录下载我的代码。

到目前为止,我已经找到了一些代码并对其进行了修改以列出所提供的URL中的目录,但是如何修改代码以进入特定目录并下载特定文件?

package list.links;
import org.jsoup.Jsoup;
import org.jsoup.helper.Validate;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class ListLinks {
    public static void main(String[] args) throws IOException {

        String URL = "insert url";

        Document doc = Jsoup.connect(URL).get();
        Elements links = doc.select("a[href]");

        print("Links: (%d)", links.size());
        for (Element link : links) {
            //print(" * a: <%s>  (%s)", link.attr("abs:href"), trim(link.text(), 35));
            print(link.attr("abs:href"), trim(link.text(), 35));
        }
    }

    private static void print(String msg, Object... args) {
        System.out.println(String.format(msg, args));
    }

    private static String trim(String s, int width) {
        if (s.length() > width)
            return s.substring(0, width-1) + ".";
        else
            return s;
    }
}

0 个答案:

没有答案