通常，我只有一个要监视的工作流程。每当有新文件到达时，或者在某些预定的时间（即，我希望能够在工作流中插入新的“作业”）时，工作流就应该开始，并通过多个不同的任务和步骤来处理文件。我希望能够监视执行任务的每个文件。 各个任务的队列和分配负载可能由Celery管理，但尚未决定。
我看过Apache Airflow，据目前了解，它更适合于监视许多不同的工作流程，因此每个工作流程主要是从头到尾运行的，而不是在开始时添加新文件。前一次运行结束之前的流程。 Cadence工作流似乎可以满足我的需要，但似乎有些过大。
我不期望在这里有一个特定的最终解决方案，但是我希望能提出更多关于这些解决方案的建议，以便我研究和解决上述问题。