如何使用Java来导航Web搜索

时间:2010-08-16 17:00:45

标签: java web-scraping

我需要为一个项目掠夺法国法庭案件,但我无法弄清楚如何让Java在法院的搜索引擎中导航。

Here's the search page我需要操纵。我想开始抓取结果页面,但我不能仅使用URL从Java访问该页面。我需要一些方法让Java命令服务器根据我的日期参数执行搜索(01/01/2003 - 30/06/2003),然后我可以通过简单地操作我正在连接到的URL来运行该节目

任何建议?

1 个答案:

答案 0 :(得分:1)

首先确保网站的服务条款允许这样做。

我会发帖httpclient发送数据并获得结果。请参阅页面上的表单,确定需要模拟哪些变量并使用httpclient提交它们。你应该找回你想要的结果。此页面上还有很多javascript,所以你需要弄清楚它在做什么,也许它从不提交表单但是调用ajax来更新页面,但也许你可以得到相同的结果。

您可以随时安装“fiddler”之类的内容,并观看网页发送的http流量,然后使用httpclient进行模拟。