蜘蛛中的scrapy LOG_LEVEL设置不起作用

时间:2015-11-22 15:18:26

标签: python scrapy scrapy-spider

是否可以在LOG_LEVEL类中设置Spider设置?

当我尝试将其设置为INFO时,我仍会看到DEBUG消息。

当我在settings.py文件或命令行选项--loglevel上设置它时,它可以正常工作。

我以为我可以通过custom_settings属性设置任何设置。那是一个错误吗? (Scrapy 1.0.3和python 2.7.10)

class TestSpider(scrapy.Spider):
    name = "Test"
    ...
    custom_settings = {
        'LOG_LEVEL': 'INFO',
    }

1 个答案:

答案 0 :(得分:0)

您可以尝试这样的事情:

from scrapy.log import ScrapyFileLogObserver
from scrapy import log


class MySpider(BaseSpider):
    name = "myspider"  

    def __init__(self, name=None, **kwargs):
        ScrapyFileLogObserver(open("spider.log", 'w'), level=logging.INFO).start()

        super(MySpider, self).__init__(name, **kwargs)