我正在开展一个网络抓取项目,我需要我的“开始”页面来开始抓取。
导航到这样的网址时:http://www.blah.com/search.aspx并输入我的数据(因为我想将搜索结果页面传递给我的屏幕抓取程序)。当搜索结果(页面)返回时,URL没有改变。
如何从搜索结果页面获取网址,或者模仿“搜索”以在屏幕抓取程序中获取搜索结果页?
答案 0 :(得分:0)
经过一些谷歌搜索后发现这一点(它有助于使用正确的关键字)。
我已经在使用HtmlAgilityPack了,这只是提供了有关如何发布帖子和阅读结果的更多信息。
http://refactoringaspnet.blogspot.com/2010/04/using-htmlagilitypack-to-get-and-post.html