如何在ASP.NET中模拟网站登录,然后从页面中抓取一些数据

时间:2009-04-02 20:43:14

标签: asp.net screen-scraping

是否有人建议在ASP.NET代码中执行以下操作:

1)使用用户名和密码登录受密码保护的站点(目标站点不一定是ASP.NET)

2)导航到特定页面和/或执行搜索

3)从页面中提取特定数据(这是最简单的部分)

虽然使用API​​会很好,但源站点不提供此功能。

登录非常简单(用户名,密码,提交按钮) - 没有CAPTCHA等...

2 个答案:

答案 0 :(得分:1)

您可以使用System.Net.WebClient课程执行此操作。

答案 1 :(得分:1)

查看我对这个问题的回答:
surfing with the same CookieContainer

.Net中有一个WebClient类,但是它在通过身份验证方面并不是很好,所以我前段时间写了这篇文章来帮助完成这项艰苦的工作。不幸的是,您仍然需要研究响应以了解要发送的请求以及如何解析结果。并确保阅读我的免责声明:我的代码的部分坦率地说不是很好,而且它在VB.Net中(这对某些人来说是一个问题)。但主要是效果很好。