Question

我知道这可能看起来很荒谬。我放弃了一个Windows scrapyd实现，并设置了一台ubuntu机器，让一切工作都很棒。我有3个项目，每个项目都有自己的蜘蛛。我可以使用以下方式从终端运行我的蜘蛛：

curl http://localhost:6800/schedule.json -d project=myproject -d spider=spider2

当我运行上面显示在正确位置的代码时，所有内容似乎都可以在网页用户界面中使用已删除的项目。

我希望每天上午12:00运行项目1，项目2每隔一天凌晨2:00运行，项目3每两周运行凌晨4:00。请帮我学习如何做到这一点。

scrapyd甚至是这项任务的合适解决方案吗？

Answer 1

计划任务似乎可以解决问题。我不得不说，当我在Windows中安排了schtasks scrapy抓取命令时，我想知道是否真的值得设置一个ubuntu机器用于运行报废的唯一目的。