设置Azkaban并行流/依赖性的优先级

Question

我正在使用Azkaban 3.4.1，我的一个流程有超过30个依赖项。一些依赖项比另一个依赖项更长。因此，我希望在另一个流程开始之前优先处理这些流程。 （因为正在运行的线程有限）

目前，并行执行的数量受flow.num.job.threads的限制，默认情况下为10。我尝试增加该属性并确保长时间的进程立即开始，但cpu变得非常高，所以我不确定这是一个不错的选择。

Answer 1

使用此分叉https://github.com/hanip-ss/azkaban/releases/tag/3.4.2。

我现在可以在作业属性文件中添加job.priority值。