我有一个mongodb集合,其数量为20,用于存储有关我当前使用cron作业处理的任务的一些数据。
使用cron作业时,每个集合有一个工作者。我想改善这种安排,我正在研究芹菜。我希望每个系列至少有4名工人,因为我在每个系列中都有很多记录。
我希望这些工作在他们来时完成,而不是等待使用cron工作时五分钟等待。
我可以按照我描述的方式在芹菜中每个收集4个工人吗?
答案 0 :(得分:0)
Celery工作人员会在启动新任务后立即选择任务并执行它,芹菜可以使用redis或rabittMQ来存储任务队列。您可以通过在多台机器上运行分配芹菜或通过扩大机器并增加工人数量来扩展芹菜。 https://www.slideshare.net/nicolasgrasset/scaling-up-task-processing-with-celery
使用celery beat而不是使用crontab,这是芹菜的任务调度程序。
没有必要收集明智的芹菜工人。
请查看以下芹菜文件以了解芹菜。
http://docs.celeryproject.org/en/latest/getting-started/introduction.html