Scrapy - 在爬行期间写入磁盘

Question

看起来scrapy管道在写入文件之前等待抓取完成。持久性选项（使用JOBDIR）似乎在爬网期间不会写入输出文件。

如果我愿意，我有哪些选择：

• a）保存所有项目

• b）保存每10件物品

Answer 1

如果您在使用scrapy进行日志记录时遇到问题，可以通过在Scrapy项目的settings.py文件中添加一行来调整日志记录级别：

LOG_LEVEL = 'ERROR'

如果要将输出打印到单独的文件，可以从命令行

执行此操作

scrapy crawl yourobject -s LOG_FILE= mynew.log

这就是我在Ubuntu上工作的方式。