如何将Scrapy的屏幕输出存储到Linux中的文件中

Question

我经常使用

self.logger.info('Parse function called on %s', response.url)

调试Scrapy项目。但是，当抓取大量项目时，这些日志信息将嵌入到许多无用的信息中。

我想要的是将屏幕输出存储到文件中，以便我可以进行搜索，进行文本编辑等。

我试过了：

scrapy crawl xxx_spider >> my_log 

但它不起作用

Answer 1

似乎您的脚本可能正在写入除stdout之外的其他内容，例如stderr。尝试：

     $ scrapy crawl xxx_spider  &> test_log

如果它确实是将脚本输出写入stderr，您可能希望将来将stderr指向stdout，并且可能需要考虑更改记录器输出文本的位置。