使用纱线和公平调度程序的火花簇击中每个用户的最大核心

时间:2018-02-10 20:15:38

标签: apache-spark cluster-computing yarn scheduler

我使用公平调度程序和动态分配将多个纱线作业提交到群集中。我可以在队列中加载很多作业。我看到的是,作业将运行多达18个工作核心,然后它将阻止下游作业,直到其中一个活动核心完成。这种约束会从哪里来?它是一个纱线设置,还是一个公平的调度程序设置?

0 个答案:

没有答案