我从下面的简单代码开始,以便将网页中的html抓取到字符串中以便稍后处理。对于像Digikey这样的网站来说,它可以运行,但对于像Mouser这样的其他网站却没有。
我尝试将标头和userAgent放到WebClient上,同时将网址转换为Uri但没有成功。有没有人对我能尝试什么有任何其他建议?或者任何人都可以尝试让代码工作,让我知道它是怎么回事?
validate
编辑:链接应该在此处显示:link
编辑:我尝试了以下大块代码而没有运气:
String url = "http://www.mouser.com/ProductDetail/Vishay-Thin-Film/PCNM2512E1000BST5/?
qs=sGAEpiMZZMu61qfTUdNhG6MW4lgzyHBgo9k7HJ54G4u10PG6pMa7%252bA%3d%3d"
WebClient web = new WebClient();
String html = web.DownloadString(url);
MessageBox.Show(html);
答案 0 :(得分:0)
需要免费下载Fiddler它(最初由Microsoft开发),它可以让您记录浏览器会话。因此,启动它打开chrome或任何浏览器,然后执行步骤。完成后,您可以停止它并查看每个请求和响应以及发送的原始数据。
可以轻松发现代码与浏览器之间的差异。
还有许多免费工具可以获取您的请求/响应数据并为您生成C#代码,例如Request To Code。这不是唯一的,我不在工作,我不记得我在那里使用的那个,但有很多可供选择。
希望这有帮助