并行运行同一Oozie作业多次，每个作业的参数值不同

Question

我想运行一个程序，将给定的输入文件转换为另一种格式。 将文件上传到输入表后，oozie Scheduler应该开始工作。

对于单个文件，它工作正常；如果输入表同时具有多个条目，则相同数量的作业应以不同的 inputPath 自变量开始。 Oozie工作流程将“ InputPath”和“ OutputPath”作为参数。

我该怎么做？

Answer 1

您要基于事件触发作业。 Oozie并非为此而设计，它只是根据时间表运行预定的作业（可以选择延迟启动，直到特定文件到达为止）。

考虑其他选项，例如AirFlow或Luigi。