如何使用芹菜实现每个资源的顺序队列？

Question

这是当前设置

• 我有一个网络应用。
• 有芹菜工人。
• 在Web应用程序中，有一个称为数据集的资源。
• 每个数据集都有一个唯一的ID。
• 用户可以将文件添加到数据集中以添加更多数据。 API将启动一个芹菜任务来完成此任务。

现在，我们希望允许用户同时添加多个文件，并实现数据集级别的队列。我们希望一次只向一个数据集添加一个文件，并且这些任务需要在每个数据集级别按顺序运行。

我们的芹菜任务跨多个工作人员运行，并且是并发的。但是我希望芹菜在每个数据集级别上充当传统的FIFO队列。否则，它应该像现在一样跨数据集并发。

是否应在celery任务之外实施持久队列？或者我可以做芹菜吗？