twisted.internet.error.TimeoutError：用户超时导致连接失败

Question

我正在尝试运行此命令：

scrapy shell "http://www.zomato.com/sao-paulo-sp/restaurants?page=1"

但是我得到了：

twisted.internet.error.TimeoutError: User timeout caused connection failure: Getting http://www.zomato.com/sao-paulo-sp/restaurants?page=1 took longer than 180.0 seconds..

这是我的scrap草版本：

scrapy version -v
Scrapy       : 1.5.1
lxml         : 4.2.4.0
libxml2      : 2.9.8
cssselect    : 1.0.3
parsel       : 1.5.0
w3lib        : 1.19.0
Twisted      : 18.7.0
Python       : 2.7.10 (default, Jul 15 2017, 17:16:57) - [GCC 4.2.1 Compatible Apple LLVM 9.0.0 (clang-900.0.31)]
pyOpenSSL    : 18.0.0 (OpenSSL 1.1.0f  25 May 2017)
cryptography : 1.9
Platform     : Darwin-17.3.0-x86_64-i386-64bit

我该如何解决？

Answer 1

您可能有连接问题。开始故障排除：

• 您打算使用http还是https？
• 将相同的URL粘贴到浏览器中时页面是否加载？
• 在某种代理后面很抓狂吗？
• 您可以使用curl -v ...下载页面吗？
• 您是否有可能被zomato扼制/阻塞？