我正在使用包含Web浏览器控件的Windows窗体应用程序,它基本上抓取网页列表,然后使用DOM从中提取数据。
当我在抓取某个特定网站时,我总是在100个链接后被阻止。我在阻止时收到的错误消息显示"您的访问已被终止"。
我有6个公共IP(所有不同的范围),我每20个链接循环。我已经确认IP实际上已经改变了。
此外,在每20个链接之后,我正在使用此代码重置完整的IE历史记录,Cookie,网站数据,Internet临时文件等
System.Diagnostics.Process.Start("rundll32.exe", "InetCpl.cpl,ClearMyTracksByProcess 255");
我也在使用c#中的随机类导航下一个链接大约2秒到8秒之前等待应用程序。
我的问题是,我根本不明白为什么我仍然被封锁? 我骑自行车的IP。 所有链接导航请求都是随机的。
在应用程序级别有什么我缺少的东西吗?或者是其他东西?