从cron调用的scrapy脚本只调用了构造函数

Question

通过shell脚本调用scrapy crawler，该脚本用作crontab条目中的命令行。 shell脚本如下所示：

scrapy crawl targethost.com

当时间到期并且确实执行时，但似乎只调用构造函数（我使用调试输出验证）。通过将shell脚本重写为：

来解决该问题

scrapy crawl targethost.com＆amp;＆gt; cronlog.log

我只是不知道为什么。

Answer 1

Scrapy正确执行，但不会将所有消息输出到STDOUT，因此简单管道（>）不会将所有内容重定向到您的文件中，只会将那些内容重定向到STDOUT（正如您所说） ，似乎只是构造函数。）

使用&>，它会从scrapy中获取所有邮件并将其放入日志中。