对方拒绝了连接:111:拒绝了连接。在Linux服务器上使用Scrapy Crawlera时

时间:2018-10-18 02:53:42

标签: python web-scraping scrapy screen-scraping crawlera

Scrapy Crawlera在Windows机器上运行得很好,但是在Linux服务器上运行它时出现错误111。为什么会这样?

使用curl时,出现此错误: curl: (7) Failed connect to proxy.crawlera.com:8010; Connection refused

2 个答案:

答案 0 :(得分:0)

它很可能与Windows或Linux无关,但与Scrapy的 user-agent 有关。尝试做某事。在settings.py中是这样的:

USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.7

答案 1 :(得分:0)

事实证明,在处理端口时,默认情况下,如果CPanel(或Linux?)在防火墙中未将其列入白名单,则会阻止端口。自从我使用CPanel以来,我就通过WHM打开了它,现在一切正常。