我正在使用Scrapy来抓取数据，但是服务器阻止了我的IP

Question

如图所示，我使用scrapy从服务器抓取数据，但服务器似乎阻止了我的ip，我很好奇 >服务器阻止 my mac 或路由器的IP？

Answer 1

它将获取您的Internet提供商提供的地址，因此您的公共IP。可以查看这篇文章：Get proxy ip address scrapy using to crawl

Answer 2

路由器的公共IP被阻止。

在这种情况下，有两个网络。

一，公共互联网 - 连接服务器（托管您抓取的网站）。

二，您的私人家庭网络 - Mac连接的位置。

您的路由器充当从私人家庭网络到互联网的网关，从而帮助您的Mac与服务器通信。

充当＆＃34; Gateway＆＃34;路由器将有两个IP地址。家庭网络的一个私有IP地址和一个公共IP地址。公共IP地址是服务器可见的内容。在服务器的角度来看，公共IP地址来自进行爬网请求的位置。

因此路由器的公共IP被阻止。

另请尊重网站的服务条款并负责任地抓取。

如果您不想被禁止，请在settings.py中尝试以下设置：

1. 限制CONCURRENT_REQUESTS
2. 设置DOWNLOAD_DELAY

参考：http://doc.scrapy.org/en/latest/topics/settings.html