Scrapy Crawlera在Windows机器上运行得很好,但是在Linux服务器上运行它时出现错误111。为什么会这样?
使用curl时,出现此错误:
curl: (7) Failed connect to proxy.crawlera.com:8010; Connection refused
答案 0 :(得分:0)
它很可能与Windows或Linux无关,但与Scrapy的 user-agent 有关。尝试做某事。在settings.py
中是这样的:
USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.7
答案 1 :(得分:0)
事实证明,在处理端口时,默认情况下,如果CPanel(或Linux?)在防火墙中未将其列入白名单,则会阻止端口。自从我使用CPanel以来,我就通过WHM打开了它,现在一切正常。