通过芹菜中的许多队列的数据位置？

Question

我们正在尝试设计一个分布式管道，以并行方式处理大量数据块。我们正在采用芹菜，但其中一个要求是我们需要能够将某些作业映射到群集中的某些节点，例如如果只有一个节点可以访问某个数据块。

首先想到的答案是多个队列，对于大（~64）个节点，每个节点甚至可能有一个队列。这是可行的，有效的吗？芹菜队列是否轻巧？还有更好的方法吗？

Answer 1

我迄今为止找到的最佳答案是：

Is Celery appropriate for use with many small, distributed systems?

这表明Celery确实非常适合这种用例。也许我会在实施后再次更新。