自动提交表格以进行网络抓取

时间:2015-05-28 05:51:06

标签: forms web web-crawler submit

我在这里有一个由外部机构创建的旧ASPX + XML网站。我只能访问XML的各个部分,因为web.config已被锁定。

我想抓取此网站来抓取页面并捕获关系数据。我可以做一个空白搜索,返回所有数据 - 从这里一个网络爬虫就可以了。但是,我找不到一个能够点击搜索的网页抓取工具 - 我尝试过在页面加载时提交表单的JavaScript,但这仍然不起作用(我想这还不够快)。

URL不包含查询字符串(因此我不能只进行空白搜索并复制结果URL)。

有什么想法吗?

0 个答案:

没有答案