我已经使用Scrapy构建了一个抓取工具来抓取网站并提取链接。我希望爬虫在某个时间每天都运行。我发现了python的sched来执行调度,但我找不到从哪里开始。任何帮助都非常有用。
答案 0 :(得分:2)
这是您应该查看操作系统调度程序的位置。在Linux和类似的情况下,你通常会使用cronjobs:
http://www.cyberciti.biz/faq/how-do-i-add-jobs-to-cron-under-linux-or-unix-oses/
在MS Windows上,您通常会使用Windows任务计划程序:
http://windows.microsoft.com/en-au/windows/schedule-task#1TC=windows-7