所有
我有一个小型的webcrawler，有时候必须抓取twitter并拔出URL。我使用.net框架中提供的Webclient类的修改版本。
通常这种方法很好，即使是来自bit.ly等网站的缩短网址。
但是，使用以下网址：http://is.gd/CioW网络客户端超时。
它意味着将您重定向到这里： http://digg.com/microsoft/Less_Virtual_More_Machine_Windows_7_and_the_magic_of_Boot
您认为他们正在过滤某些客户？
关于我如何解决这个问题或者为什么会发生这种情况的想法？
答案 0 :(得分：0)
您确定可以通过网络点击该网址，而无需通过代理吗？
您的webclient控件是否遵循重定向？您可以通过创建TinyURL来测试这一点，并查看您的webclient是否可以浏览它。
如果您在浏览器中浏览代理，则需要在WebClient控件中进行设置。
测试它们是否过滤客户端应该很容易 - 例如，在Request对象上设置UserAgent以匹配FireFox。