Web爬网程序 - Windows Form Exe应用程序 - 被阻止

时间:2015-08-12 11:05:42

标签: c# winforms web-crawler

我正在使用包含Web浏览器控件的Windows窗体应用程序,它基本上抓取网页列表,然后使用DOM从中提取数据。

当我在抓取某个特定网站时,我总是在100个链接后被阻止。我在阻止时收到的错误消息显示"您的访问已被终止"。

我有6个公共IP(所有不同的范围),我每20个链接循环。我已经确认IP实际上已经改变了。

此外,在每20个链接之后,我正在使用此代码重置完整的IE历史记录,Cookie,网站数据,Internet临时文件等

 System.Diagnostics.Process.Start("rundll32.exe", "InetCpl.cpl,ClearMyTracksByProcess 255");

我也在使用c#中的随机类导航下一个链接大约2秒到8秒之前等待应用程序。

我的问题是,我根本不明白为什么我仍然被封锁? 我骑自行车的IP。 所有链接导航请求都是随机的。

在应用程序级别有什么我缺少的东西吗?或者是其他东西?

0 个答案:

没有答案