标签： python celery scheduled-tasks cron-task
对于用python编写的大型和分布式任务，建议使用什么调度引擎？当您的周期性任务少于1000个时，可以使用气流或芹菜拍子之类的方法。但是> 100000个定期任务如何呢？ API不断。
用例：
例如-假设一个分析平台每小时定期扫描数百万个网站。因此，您需要具备动态添加新URL进行扫描的功能（新的定期任务），并以最佳方式在所有工作人员中分配处理。
谢谢！