尽管有download_timeout> download_latency,Scrapy仍会收到TimeoutError

时间:2019-03-02 23:48:05

标签: scrapy

我有几个失败的实例,并带有消息twisted.internet.error.TimeoutError错误

Failure instance: Traceback: <class 'twisted.internet.error.TimeoutError'>: User timeout caused connection failure: Getting XXX took longer than 180.0 seconds..

请求对象的meta字段显示

u"{'redirect_urls': ['YYY'], 
'download_timeout': 180.0, 
'download_slot': 'ZZZ',
 'redirect_ttl': 19, 
'redirect_times': 1, 
'download_latency': 75.55322599411011, 
'retry_times': 2}"}}

我删除了实际的网址和下载位置,因为它们不相关,但其余数字是真实的。我不会假装理解它们的全部含义,但尤其是我理解download_latency表示下载程序花在请求上的实际时间。如果这是正确的,那么即使download_timeout为180秒,尽管它仅花费了75秒却给出了TimeoutError,我还是不理解。实际上,故障消息明确指出它花费了超过180秒的时间。

这180秒如何计算?从哪一步到哪一步,什么是download_latency?

就像我说的那样,我有很多这样的错误。

0 个答案:

没有答案