作为脚本运行时如何为Scrapy Spider创建单独的日志文件

时间:2019-01-26 12:09:14

标签: scrapy scrapy-spider

我正在通过脚本运行Scrapy。从文档https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script中,我知道我可以使用get_project_settings()获得项目设置。所以我的代码就是这样。

process = CrawlerProcess(get_project_settings())
process.crawl(Spider1)
process.crawl(Spider2)
process.start()

但是现在我想为Spider1和Spider2创建单独的日志文件。我尝试直接在Spider1和Spider2类中设置日志配置。但是,在运行脚本Scrapy时,会创建两个日志文件,但是所有内容都会写入创建的第一个日志文件中。

class Spider1(scrapy.Spider):
     custom_settings = {
    'LOG_FILE': 'spider1.log',
    'LOG_LEVEL': 'WARNING',
    'LOG_STDOUT': True
    }
class Spider2(scrapy.Spider):
     custom_settings = {
    'LOG_FILE': 'spider2.log',
    'LOG_LEVEL': 'WARNING',
    'LOG_STDOUT': True
    }

任何人都可以告诉我在这种情况下我做错了什么。

0 个答案:

没有答案