如何scrapy处理dns查找失败

Question

我希望在抓取域Scrapy时处理DNS错误。

以下是我看到的错误：

ERROR: Error downloading <GET http://domain.com>: DNS lookup failed: address 'domain.com' not found [Errno 8] nodename nor servname provided, or not known.

当我收到这样的错误时，我怎么能得到通知，这样我就可以自己处理它而不用Scrapy只是抛出错误然后继续前进。

Answer 1

使用errback和回调：

Request(url, callback=your_callback, errback=your_errorback)

和errback：

def your_errorback(self, response):
    //your logic will be here

Answer 2

请检查
的值 allowed_domains = ['abc.xyz.domain_name'] start_urls = ['http://abc.xyz.domain_name//'] 可能是正确的。