如何在Scrapy递归抓取中查看错误消息？

Question

我使用Scrapy进行递归抓取。我写了我的蜘蛛，以便它可以按照＆＃34;下一页＆＃34;按钮并刮每页中的每一行。但是，我的蜘蛛只刮掉了我原先预期的80％的行。我想查看所有错误消息，以便我可以知道我的蜘蛛无法抓取的具体内容。我知道当蜘蛛运行时，Windows cmd上会显示错误，但是对于我的肉眼，cmd上有太多行。另外，我只允许向上滚动到某一点，这意味着不可能以这种方式查看所有错误消息。那么有没有办法显示所有错误消息？非常感谢！

Answer 1

您可以使用命令行参数log the output：

OpenCV：覆盖LOG_FILE

--logfile FILE：覆盖LOG_LEVEL

您可以将它们与蜘蛛一起使用：

--loglevel/-L LEVEL

稍后只需查看文件中的错误。