从Scrapy日志中删除忽略响应消息

Question

我使用python scrapy，网站上有很多不正确的链接，导致出现404状态代码页。拖延添加消息到日志“忽略响应404”-它非常填充日志，如何删除该消息？

Answer 1

Scrapy使用python的logging模块，因此您可以按照通常的方式进行操作-获取相关记录器并更改其记录级别。

文档甚至在Logging - Advanced customization下显示了此示例：

import logging
import scrapy


class MySpider(scrapy.Spider):
    # ...
    def __init__(self, *args, **kwargs):
        logger = logging.getLogger('scrapy.spidermiddlewares.httperror')
        logger.setLevel(logging.WARNING)
        super().__init__(*args, **kwargs)