Scrapy-蜘蛛调度

Question

我想安排我的蜘蛛到给定的时间点。例如，我想安排我的蜘蛛睡前午夜。有什么“简单”的方法，可以通过命令行来安排它，还是应该使用scrapyd？

Answer 1

如果蜘蛛在本地计算机上运行，​​则可以使用int命令来计划您的抓取作业。例如，如果您要安排蜘蛛以便每天23:00运行：

在命令行上
1. 键入crontab，然后crontab菜单将出现在shell上 如果尚未使用crontab。它仅要求您选择文本编辑器，以便能够调整crontab -e个作业。
2. 确定要使用的编辑器后，您会看到cron文件的内容。
3. 将crontab变量附加到此文件。 （您只需复制粘贴PATH的输出即可）

4. 将此行添加到同一文件：

   00 23 * * * cd /您的/ scrapy / project /;抓取抓取您的蜘蛛名

进一步阅读：https://www.cyberciti.biz/faq/how-do-i-add-jobs-to-cron-under-linux-or-unix-oses/

Answer 2

根据您的系统，您可以设置cron作业： https://wiki.ubuntuusers.de/Cron/

您还可以使用Frontera或scrapinghub：https://support.scrapinghub.com/support/solutions/articles/22000200419-scheduling-periodic-jobs