从需要您登录的网站获取数据(Java)

时间:2011-07-15 05:23:16

标签: java https web-crawler web-scraping

我甚至不知道我问的是否可行而且我不知道在谷歌上搜索什么。

基本上,有多个项目需要我从网站上获取一些数据。我现在想的例子是从银行网站http://www.americanexpress.ca获取我的帐户信息我想知道我是如何制作的,所以我的登录信息输入左边的字段并抓住结果页面中的数据。然后我会制作解析数据的方法。

显然,这需要安全,因为我不希望我的银行信息被盗。

很抱歉,如果解决方案很明显,因为我从未尝试过从网站抓取数据。

2 个答案:

答案 0 :(得分:2)

您必须使用Apache HttpClient(或相同)库。它有你需要的所有课程。

答案 1 :(得分:2)

如前所述,Apache HttpClient是一个选项,但我个人总是发现HtmlUnit更方便(从API的角度来看)这样做。 HtmlUnit构建于HttpClient之上,并公开了一个更高级别的API,用于与页面内容进行交互和操作。