在Luigi Orchestrator中并行化任务

Question

我定义了三个任务T1，T2和T3，然后定义了一个任务T4，如下所示：

class T4(luigi.Task)
    def requires(self):
        return [T1(), T2(), T3()]

有没有一种自然的方式告诉Luigi我希望这些任务T1，T2和T3并行执行？

Answer 1

这取决于T1，T2和T3具有哪些依赖关系。如果他们没有其他任务作为常见依赖项，您可以运行指定--workers=3和Luigi will run each task in a separate worker的任务。