如何在控制台上显示日志并保存外部日志以进行爬网?

时间:2017-06-06 08:00:42

标签: scrapy

就像标题一样。我使用-s LOG_FILE = mylog.txt来保存外部日志。但是我想在蜘蛛运行时看到日志。有没有办法做到这一点?我正在使用Windows 10,并且更喜欢在Windows 10中运行的答案。

业余开发人员没有计算背景,所以请放轻松我。

1 个答案:

答案 0 :(得分:1)

使用gnu的tee工具:

scrapy crawl myspider 2>1 | tee crawl.log

2>1将stderr重定向到stdout - 您最有可能想要同一文件中的错误和信息。
输出到| tee crawl.log的{​​{1}}个管道将其拆分为tee文件和标准输出。

Windows也有crawl.log实现:

  

Unix tee命令的Win32端口就是这样做的。请参阅http://unxutils.sourceforge.net/http://getgnuwin32.sourceforge.net/

取自:https://stackoverflow.com/a/796492/3737009