使用cron运行scrapy crawl

时间:2015-08-05 05:24:01

标签: cron scrapy crontab scrapy-spider

我一直在尝试使用cron运行我的抓取工具,但没有任何反应,我的抓取工具生成的csv文件也没有更新。总之没有任何事情发生这是我的下面的代码。 我的scrapy项目路径:

root or home directory/insider/insider/spiders --> This folder contains the insider.py file i.e crawler script.

example.sh

#!/bin/bash

cd/root/insider
PATH =$PATH:/usr/local/bin
export PATH
scrapy crawl insider

crontab文件

*/2 * * * * cd /root && example.sh

0 个答案:

没有答案