网页剪贴板未创建CSV文件

时间:2016-05-05 06:47:19

标签: java html csv web-scraping web-crawler

我创建了一个网络剪贴板,它从证券交易所网站上获取股票市场数据。 www.psx.com.pk在该网站上有一个市场摘要的超链接。从那个链接我不得不废弃数据。我创建了一个程序,如下所示。

package com.market_summary;

import java.io.File;
import java.io.FileWriter;
import java.io.IOException;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.Iterator;
import java.util.Locale;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

public class ComMarket_summary {

    boolean writeCSVToConsole = true;
    boolean writeCSVToFile = true;
    boolean sortTheList = true;
    boolean writeToConsole;
    boolean writeToFile;
    public static Document doc = null;
    public static Elements tbodyElements = null;
    public static Elements elements = null;
    public static Elements tdElements = null;
    public static Elements trElement2 = null;
    public static String Dcomma = ",";
    public static String line = "";
    public static ArrayList<Elements> sampleList = new ArrayList<Elements>();

    public static void createConnection() throws IOException {
        System.setProperty("http.proxyHost", "191.1.1.202");
        System.setProperty("http.proxyPort", "8080");
        String tempUrl = "http://www.psx.com.pk/index.php";
        doc = Jsoup.connect(tempUrl).get();
        System.out.println("Successfully Connected");
    }

    public static void parsingHTML() throws Exception {

        File fold = new File("C:\\market_smry.csv");
        fold.delete();
        File fnew = new File("C:\\market_smry.csv");
        for (Element table : doc.getElementsByTag("table")) {
            for (Element trElement : table.getElementsByTag("tr")) {
                trElement2 = trElement.getElementsByTag("td");
                tdElements = trElement.getElementsByTag("td");
                FileWriter sb = new FileWriter(fnew, true);

                if (trElement.hasClass("marketData")) {
                    for (Iterator<Element> it = tdElements.iterator(); it.hasNext();) {
                        if (it.hasNext()) {
                            sb.append("\r\n");

                        }

                        for (Iterator<Element> it2 = trElement2.iterator(); it.hasNext();) {
                            Element tdElement2 = it.next();
                            final String content = tdElement2.text();
                            if (it2.hasNext()) {

                                sb.append(formatData(content));
                                sb.append("   |   ");

                            }

                        }

                        System.out.println(sb.toString());
                        sb.flush();
                        sb.close();
                    }
                }
                System.out.println(sampleList.add(tdElements));

            }
        }
    }
    private static final SimpleDateFormat FORMATTER_MMM_d_yyyy = new SimpleDateFormat("MMM d, yyyy", Locale.US);
    private static final SimpleDateFormat FORMATTER_dd_MMM_yyyy = new SimpleDateFormat("dd-MMM-YYYY", Locale.US);

    public static String formatData(String text) {
        String tmp = null;

        try {
            Date d = FORMATTER_MMM_d_yyyy.parse(text);
            tmp = FORMATTER_dd_MMM_yyyy.format(d);
        } catch (ParseException pe) {
            tmp = text;
        }

        return tmp;
    }

    public static void main(String[] args) throws IOException, Exception {
        createConnection();
        parsingHTML();

    }
}

现在,问题是当我执行这个程序时它应该创建一个.csv文件,但实际发生的是它没有创建任何文件。当我调试这段代码时,我发现程序没有进入循环。我不明白为什么会这样做。当我在另一个网站上运行相同程序时,页面结构略有不同,运行正常 据我所知,这些数据存在于 #document 中,这是一个虚拟元素,并不意味着程序在其他网站中没有这样的东西时无法读取它。请帮助我阅读 #document 元素中的数据。

1 个答案:

答案 0 :(得分:0)

长话短说

将您的临时网址更改为http://www.psx.com.pk/phps/index1.php

说明

http://www.psx.com.pk/index.phptable中没有document

相反,它会在两个frameset中显示它的内容。

其中一个是虚拟,其中包含网址http://www.psx.com.pk/phps/blank.php。 另一个是显示实际数据的真实页面,它的URL是 http://www.psx.com.pk/phps/index1.php