标签: c# .net web-crawler
我想从电子商务网站(例如www.ebay.com)中提取数据。我要提取的一些信息包括:产品名称,描述,价格,详细说明,图片链接,卖家信息。
webclient类中有DownloadString(字符串URL)方法,使用我可以获取HTML页面的源代码,但我想提取有关所有产品的信息(例如我想要有关所有产品的产品信息,请参阅电子部分) ,那么我怎样才能做到这一点?
我是否每次都需要更改网址,或者有什么办法可以抓取整个网站?
答案 0 :(得分:2)
您应该不抓取他们的网站,而是使用他们的WebService API