Web主机上的Web抓取应用程序

Question

我正在.NET中编写一个网络抓取应用程序，并希望由某个方面托管，例如arvixe。

问题是我不太了解网络托管解决方案，此外，我来自桌面背景。

最好的方法是什么（工作线程在一个定时循环上刮擦？某种过程）让我编写一个在这个主机上运行的应用程序并收集数据（网页抓取），然后将其保存到sql server数据库？

我非常感谢一些细节，因为我对网络空间还不熟悉。

Answer 1

您可以使用HttpWebRequest类从asp.net Web应用程序中的其他服务器中删除数据

http://msdn.microsoft.com/en-us/library/system.net.httpwebrequest.aspx

Answer 2

这是我前段时间创建的应用程序，它抓取网页并获取一些数据：

https://github.com/alexanderbeletsky/TddDemand

它实现了网络爬虫+ EF4存储。

它实际上是类库管理器+控制台应用程序，但类库可以用作ASP.NET Web应用程序的一部分 - 这里没有问题。

但是，我真的不明白为什么你需要一个网站。对于这种情况，简单的应用程序（服务）更合适。