我有一个非常简单的Luigi luigi.contrib.external_program.ExternalProgramTask。没有依赖于此任务。该任务只需获取一个输入文件,将其传递给exe,然后写出一个完成任务的文件。每项任务运行约1-4秒。
--workers 8
- 100个任务需要大约3分20秒
--workers 1 --local-scheduler
- 100个任务大约需要1m:40s`
这是在我的笔记本电脑上,而不是"分发"但是当Luigi计划多个任务并行运行时,我不明白 - 本地调度程序如何快得多。
使用集中式调度程序运行时,我会看到8个以上的python进程弹出并运行,但整个过程速度较慢。