由于网页上的网页抓取,Quora阻止了我的IP地址

时间:2016-04-27 03:58:49

标签: java proxy web-scraping web-crawler

我使用Jsoup库在java中编写了一个Web爬虫。为了快速处理数据我创建了多线程环境,他们请求多个网页并关注网站上的每个链接。我搜索包含一个特定的词。 几天它工作正常,但现在Quora阻止了我的IP地址,我无法访问那里的网站。

我不知道我的IP地址,因为我的ISP为我提供随机的本地IP。所以我不能请求Quora取消阻止我的IP。

  

1>如何使用任何代理网站,以便在网页抓取时屏蔽我的IP地址。

     

2.>如何弄清楚将来他们永远不会阻止我。

     

3.>如果无法完全屏蔽我的IP,那么在配置路由器时如何确定静态IP使用我的ISP。

0 个答案:

没有答案