Celery TaskSet中应该有最大数量的任务吗？

Question

我有需要运行的大量任务。是否应该将最大数量的任务添加到单个TaskSet中？

我正在考虑将数以百万计的任务分成几个任务集，每个任务有10k个任务，因为它感觉正确，但也许没有理由这样做。

有人有什么感受吗？

Answer 1

实际上这是一个坏主意。

Here您可以找到关于同一主题的简短讨论。

虽然问题1078已经关闭，但问题仍然存在。我建议使用较小的集合或将它们分组到其他不超过50-70项的GroupResults中。