模拟ASP.NET PostBack

时间:2011-06-20 13:44:22

标签: c# asp.net web-crawler web-scraping

我有一个抓取工具应该解析来自带分页的页面中的所有项目。不幸的是,我的应用程序抓取的网站使用回发进行分页。如何以编程方式获取第二页的内容以便在C#中使用以下URL。

http://www.hurriyetemlak.com/coldwell-banker-dikey-gayrimenkul/konut-satilik/istanbul-basaksehir-bahcesehir/emlak-ofisleri-ilanlari/3OWB4lkhYFs=/9wZEBZ-ivFgmrA3ENMCIfQ==/qh.BgsUoTK4=/GmMGgVD5Wcc=/GmMGgVD5Wcc=?sParam=3OWB4lkhYFs%3d&sType=9wZEBZ-ivFgmrA3ENMCIfQ%3d%3d&ListIsBig=qh.BgsUoTK4%3d&sortType=GmMGgVD5Wcc%3d&pageSize=GmMGgVD5Wcc%3d

我已经尝试在__VIEWSTATE和__EVENTVALIDATION上发布__EVENTTARGET隐藏字段,但它似乎无效。

2 个答案:

答案 0 :(得分:0)

您可以使用屏幕抓取技术实现此目的(请参阅HtmlAgilityPack)。这将要求您阅读响应并重新发布表单帖子以模仿用户在浏览器中执行的操作。简单的请求重播将无效。

答案 1 :(得分:0)

您可能还需要传递__EVENTARGUMENT隐藏字段。并且不要忘记设置name属性,以及id属性。