我一直在尝试使用cron运行我的抓取工具,但没有任何反应,我的抓取工具生成的csv文件也没有更新。总之没有任何事情发生这是我的下面的代码。 我的scrapy项目路径:
root or home directory/insider/insider/spiders --> This folder contains the insider.py file i.e crawler script.
example.sh
#!/bin/bash
cd/root/insider
PATH =$PATH:/usr/local/bin
export PATH
scrapy crawl insider
crontab文件
*/2 * * * * cd /root && example.sh