使用回发解析.Net页面

时间:2009-08-07 16:38:51

标签: asp.net html parsing screen-scraping html-content-extraction

我需要从使用联合国的aspx页面显示的在线数据库中读取数据。我以前做过HTML解析,但总是通过操作查询字符串值。在这种情况下,该站点使用asp.net回发。因此,您单击第一个框中的值,然后单击两个节目,单击框2中的值并单击按钮以获得结果。

有人知道如何自动化这个过程吗?

谢谢,

麦克

3 个答案:

答案 0 :(得分:1)

您可能仍然只需要发送一个请求,但是一个请求可能相当复杂。众所周知,ASP.Net很难(尽管不是不可能)筛选。在事件验证和ViewState之间,让你的请求恰到好处很棘手。最简单的方法是使用像fiddler这样的嗅探工具来查看http请求的确切内容,然后模仿该请求。

如果你仍然需要发送两个请求,那是因为第一个请求也会在某个地方的某个会话中放置一些状态,这意味着无论你用什么来发送这些请求都需要能够使用相同的会话发送它们。这通常意味着支持cookie。

答案 1 :(得分:1)

Watin将是我的第一选择。您将编码选择并单击,然后解析HTML。

答案 2 :(得分:1)

我会使用HtmlAgilityPack插件查看FormProcessor