Scrapy CrawlerRunner：输出丢失

Question

我一直在使用stackoverflow（https://stackoverflow.com/a/43661172/5037146）上描述的方法，使用Crawler Runner从脚本中抓取运行，以允许重新启动进程。

但是，通过CrawlerRunner运行进程时，没有任何控制台日志，而当我使用CrawlerProcess时，它将输出状态和进度。

代码可在线获得：https://colab.research.google.com/drive/14hKTjvWWrP--h_yRqUrtxy6aa4jG18nJ

Answer 1

对于CrawlerRunner，您需要手动设置日志记录，您可以对configure_logging()进行设置。参见https://docs.scrapy.org/en/latest/topics/practices.html#run-scrapy-from-a-script