无法下载网页html,超时

时间:2017-10-11 16:46:18

标签: c# httpwebrequest webclient downloadstring

我已经尝试了在这些网页上找到的所有内容,WebclientHttpClientHttpWebRequest等等。我已经看过小提琴并复制了所有的Cookie,添加了所有相同的标题和用户代理等。这些都适用于我尝试的几乎所有其他页面,但由于某些原因,玩具' R'我们只是超时。昨天一切都运转良好,今天似乎停止了工作。

我第一次发布在这里,但是有人可以尝试下载html的任何方法随机示例:

http://www.toysrus.co.uk/toys/transformers-robots-in-disguise-strongarm-one-step-changers/0148891

无论我尝试过什么,它似乎都会挂起并超时。真正令人烦恼的是它在Chrome,Internet Explorer,小提琴手中加载得很好...我似乎无法在c#中下载它而不管downloadstring,HttpWebRequest等,它似乎只是挂起和超时。

要说清楚,我昨天有这个工作,并且已经持续了好几个月,他们的服务器上必须有一些改变,但我无法弄清楚是什么。

如果有人可以尝试并测试我的设置是否失败,我会非常感激。

1 个答案:

答案 0 :(得分:1)

非常奇怪,最后通过添加这些特定的标题来实现它:

接受:text / html,application / xhtml + xml, /

接受语言:en-GB

User-Agent:Mozilla / 5.0(Windows NT 6.1; WOW64; Trident / 7.0; rv:11.0),如Gecko

Accept-Encoding:gzip,deflate

在webclient downloadstring上。我相信我昨天试过这个......但它现在正在运作。我猜他们肯定已经改变了一些东西。无论如何......现在可以继续。再次感谢Gianlucca。