我应该将哪种屏幕刮板用于动态网页？

Question

我正在寻找一个程序，它从6个不同的网站收集数据并显示动态变化的信息。

为了开发这样的程序，我需要一个屏幕刮板实用程序，它能够从6个不同的WebPages同时提取数据，数据以非常高的频率发生变化。

请参阅以下链接，了解数据的显示类型和动态方式。

http://www.igmarkets.com.au/pricestream/outside/getMarketList?webSiteId=zam&businessArea=F&locale=en_ZA&firstTime=true&skin=igindex

6个网页上的信息显示有所不同，但概念非常相似。

任何人都可以告知什么是适合此目的的正确实用软件。

非常感谢

Answer 1

道德屏幕抓取可能是一种可疑的做法 - 但有合法用途。作为一个例子，搜索引擎做了一些刮，以获得他们的结果。

有些网站会阻止提出过多请求的实用程序 - 如果您要提出许多请求，这是一个很好的理由请求权限 - 因为它可能看起来像DoS attack，并且该网站可能会采取行动你。

如果您有合法的用途来阅读页面内容（以便您可以以某种方式处理它），那么代码就相当简单了。

来自MSDN

在C＃中：

// Initialize the WebRequest.
WebRequest myRequest = WebRequest.Create("http://www.contoso.com");

// Return the response. 
WebResponse myResponse = myRequest.GetResponse();

// Code to use the WebResponse goes here.

// Close the response to free resources.
myResponse.Close();