Luigi Central Scheduler明显慢于--local-scheduler

时间:2017-11-19 23:14:09

标签: python luigi

我有一个非常简单的Luigi luigi.contrib.external_program.ExternalProgramTask。没有依赖于此任务。该任务只需获取一个输入文件,将其传递给exe,然后写出一个完成任务的文件。每项任务运行约1-4秒。

--workers 8 - 100个任务需要大约3分20秒

--workers 1 --local-scheduler - 100个任务大约需要1m:40s`

这是在我的笔记本电脑上,而不是"分发"但是当Luigi计划多个任务并行运行时,我不明白 - 本地调度程序如何快得多。

使用集中式调度程序运行时,我会看到8个以上的python进程弹出并运行,但整个过程速度较慢。

0 个答案:

没有答案