Scrapy Twisted ConnectionLost错误

Question

我正在学习scrapy，并且很难找到解决这个问题的方法。我的蜘蛛不会抓取macys网站并继续抛出以下错误：

[<twisted.python.failure.Failure twisted.internet.error.ConnectionLost: Connection to the other side was lost in a non-clean fashion: Connection lost.>]

到目前为止我尝试过的事情：

1. 根据此主题设置标头和robotstxt： Scrapy Shell: twisted.internet.error.ConnectionLost although USER_AGENT is set
2. 根据此主题更改用户代理： How to prevent a twisted.internet.error.ConnectionLost error when using Scrapy?
3. 加密＆lt; 2每个帖子： Scrapy twisted connection lost in non-clean fashion. No proxy. Already tried headers
4. 猴补丁： Twisted Python Failure - Scrapy Issues

我还在命令提示符下检查了scrapy shell“www.macys.com”并得到了同样的错误。所以我猜这个问题不是我的蜘蛛。有人可以帮忙吗？

Answer 1

您的IP已经被黑名单发布了。

您可能需要阅读以下内容：https://doc.scrapy.org/en/latest/topics/practices.html#avoiding-getting-banned

此外，您可能希望调整the settings有关scrapy输出的请求数量：CONCURRENT_REQUESTS，DOWNLOAD_DELAY等。