如何在java中的sql数据库中存储抓取的数据

时间:2016-04-05 10:50:48

标签: java sql arrays database web-scraping

我必须从证券交易所网站上获取股票价格数据并将其存储在SQL数据库中。目前,我正在通过excel进行此过程。我们在MS Excel中获取网站数据,然后使用宏创建.csv文件,然后通过程序在sql数据库中检索这些.csv文件的数据。
现在,我应该做的是

  1. 首先,我想知道可以存储 将数据写入oracle SQL数据库?
  2. 我想创建一个java程序来擦除数据 网站。
  3. 然后直接将其存储在oracle sql数据库中。
  4. 我创建了一个程序来抓取网页,但没有得到费率。代码如下:

    package connectingurl;
    
    import java.io.*; 
    import org.jsoup.*; 
    import org.jsoup.nodes.Document; 
    import org.jsoup.nodes.Element; 
    import org.jsoup.select.Elements;
    
    public class ConnectingUrl {
    
        public static void main(String[] args) throws IOException {
            Document doc;
            try {
                System.setProperty("http.proxyHost", "191.a.b.abc");
                System.setProperty("http.proxyPort", "8080");
                doc = Jsoup.connect("http://www.mufap.com.pk/nav_returns_performance.php?tab=01").get();
                String title = doc.title();
                System.out.println("Title: " + title);
                Elements links = doc.select("a[href]");
                for (Element link : links) {
                    System.out.println("\nLink: " + links.attr("href"));
                    System.out.println("text: " + links.text());
    
                }
            } catch (IOException e) {
                e.printStackTrace();
            }
    
        }
    
    }
    

    此代码仅重复进行菜单按钮翻译。我想获取页面上提到的费率。 因为我是java的新手,所以我有很多并发症。

    P.S:我是新手堆叠溢出,所以请向我简要介绍一下我错过的要点。

1 个答案:

答案 0 :(得分:0)

您要搜索的数据不在链接中,因此无效。我快速浏览了一下XPATH获取的数据,但HTML并不是有效的XML - 所以这会让生活变得艰难。