如何从许多网址获取文章内容

时间:2015-12-15 06:38:42

标签: java html url web-scraping jsoup

我找不到任何正确的解决方案仍然无法修复。 请看看这个&帮我。

   import java.io.BufferedReader;
   import java.io.BufferedWriter;
   import java.io.FileOutputStream;
   import java.io.IOException;
   import java.io.InputStreamReader;
   import java.io.OutputStreamWriter;
   import java.io.PrintWriter;

   import org.jsoup.Jsoup;
   import org.jsoup.nodes.Document;
   import org.jsoup.nodes.Element;
   import org.jsoup.select.Elements;

   public class NewClass {


   public static void main(String[] args) throws IOException {


   Document doc = Jsoup.connect("http://tamilblog.ishafoundation.org").get();
         Elements section = doc.select("section#content");
  Elements article = section.select("article");
  for (Element a : article) {
    System.out.println("Title : \n" + a.select("a").text());
    System.out.println("Article summary: \n" + a.select("div.entry-summary").text());

  }

  }
}

我有上面的代码,用于从单个页面获取文章及其内容。

   Document doc = Jsoup.connect("http://tamilblog.ishafoundation.org").get();

我想在几个网站上这样做。

在这一行或使用一些迭代我想要为几个网页应用我的代码说500+。 我想将其保存在文章标题及其内容的单独文本文档中。

我是编码的新手,所以我找不到正确的代码。

过去两个月我在编写代码来创建代码。

1 个答案:

答案 0 :(得分:0)

对于初学者,你可以做这样的事情,

String[] urls={"http://tamilblog.ishafoundation.org","url2","url3"};//your 500 urls wil be stored here, 

    for(String url: urls){
        Document doc = Jsoup.connect(url).get();
        Elements section = doc.select("section#content");
        Elements article = section.select("article");
        for (Element a : article) {
            System.out.println("Title : \n" + a.select("a").text());
            System.out.println("Article summary: \n" + a.select("div.entry-summary").text());
        }
    }