Question

尝试在虚拟环境下使用crontab运行scrapy crawl命令，并在从cron作业运行scrapy命令时获得以下错误 -

     UserWarning: Cannot import scrapy settings module myspider.settings warnings.warn("Cannot import scrapy settings module
 %s" % scrapy_module) 
     ..... 
     raise KeyError("Spider not found: %s" % spider_name) KeyError: 'Spider not found: myspider'

任何帮助或建议？

Answer 1

在crontab下运行时缺少PYTHONPATH。

我在以下的cron工作之前添加了它：

* / 40 * * * * source /home/water/.virtualenvs/water/bin/activate& amp ;& amp;光盘 $ HOME / water2012 /＆amp;＆amp; scrapy crawl water2012＆gt;＆gt; $ HOME / water2012 / log / log _ $（日期+ \％Y \％m \％d）.log 2＆gt;＆amp; 1

Scrapy在虚拟环境下爬行在crontab上

1 个答案: