标签: forms web web-crawler submit
我在这里有一个由外部机构创建的旧ASPX + XML网站。我只能访问XML的各个部分,因为web.config已被锁定。
我想抓取此网站来抓取页面并捕获关系数据。我可以做一个空白搜索,返回所有数据 - 从这里一个网络爬虫就可以了。但是,我找不到一个能够点击搜索的网页抓取工具 - 我尝试过在页面加载时提交表单的JavaScript,但这仍然不起作用(我想这还不够快)。
URL不包含查询字符串(因此我不能只进行空白搜索并复制结果URL)。
有什么想法吗?