使用crontab时，管道功能在Scrapy中无法生效

Question

我正在使用Scrapy抓取一些网站。我手动运行代码，运行良好（进入管道模块并将数据插入数据库）。   但是，当我想在Ubuntu 中使用crontab定期运行我的代码时，会出现问题。   它没有进入桩线模块（或我在管道中写的功能）。   我该怎么办？   这是我的部分代码：

**pipelines.py**
class PlatformnewsPipeline(object)
    def process_item(self, item, spider):
        log.msg('~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~')

在手动模式下，它在crontab的输出中没有出现'~~~~~~~~~~~~~~~~'。 以下是我的项目Settins：

DEFAULT_ITEM_CLASS = 'platformNews.items.PlatformnewsItem'

ITEM_PIPELINES = {
    'platformNews.pipelines.PlatformnewsPipeline': 300
}

crontab :
33 9,12,18 * * * python get_news.py >> log.log 2>&1

Answer 1

要检查的一些事项。

1. 您已经说过您的管道无效了。你检查过你的蜘蛛是否正常工作？尝试在蜘蛛中添加日志记录。
2. 您的crontab条目get_news.py是相对路径，是否真的执行了？或者python无法找到该文件。尝试完整的绝对路径。

Answer 2

33 9,12,18 * * * cd your_project_dir_path && python get_news.py >> log.log 2>&1

希望能帮助其他面临这个问题的人。