搜索结果后,屏幕抓取/ Web抓取网址不会更改

时间:2014-01-28 14:55:15

标签: c# web-scraping screen-scraping

我正在开展一个网络抓取项目,我需要我的“开始”页面来开始抓取。

导航到这样的网址时:http://www.blah.com/search.aspx并输入我的数据(因为我想将搜索结果页面传递给我的屏幕抓取程序)。当搜索结果(页面)返回时,URL没有改变。

如何从搜索结果页面获取网址,或者模仿“搜索”以在屏幕抓取程序中获取搜索结果页?

1 个答案:

答案 0 :(得分:0)

经过一些谷歌搜索后发现这一点(它有助于使用正确的关键字)。

我已经在使用HtmlAgilityPack了,这只是提供了有关如何发布帖子和阅读结果的更多信息。

http://refactoringaspnet.blogspot.com/2010/04/using-htmlagilitypack-to-get-and-post.html