从网站抓取并提取内容

时间:2014-05-03 14:56:23

标签: c# .net web-crawler

我想从电子商务网站(例如www.ebay.com)中提取数据。我要提取的一些信息包括:产品名称,描述,价格,详细说明,图片链接,卖家信息。

webclient类中有DownloadString(字符串URL)方法,使用我可以获取HTML页面的源代码,但我想提取有关所有产品的信息(例如我想要有关所有产品的产品信息,请参阅电子部分) ,那么我怎样才能做到这一点?

我是否每次都需要更改网址,或者有什么办法可以抓取整个网站?

1 个答案:

答案 0 :(得分:2)

您应该抓取他们的网站,而是使用他们的WebService API

相关问题