我正在通过脚本运行Scrapy。从文档https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script中,我知道我可以使用get_project_settings()获得项目设置。所以我的代码就是这样。
process = CrawlerProcess(get_project_settings())
process.crawl(Spider1)
process.crawl(Spider2)
process.start()
但是现在我想为Spider1和Spider2创建单独的日志文件。我尝试直接在Spider1和Spider2类中设置日志配置。但是,在运行脚本Scrapy时,会创建两个日志文件,但是所有内容都会写入创建的第一个日志文件中。
class Spider1(scrapy.Spider):
custom_settings = {
'LOG_FILE': 'spider1.log',
'LOG_LEVEL': 'WARNING',
'LOG_STDOUT': True
}
class Spider2(scrapy.Spider):
custom_settings = {
'LOG_FILE': 'spider2.log',
'LOG_LEVEL': 'WARNING',
'LOG_STDOUT': True
}
任何人都可以告诉我在这种情况下我做错了什么。