标签: scala apache-spark yarn
在以下代码中,是否保证BLOCK 2循环仅在由BLOCK 1产生的所有执行程序任务完成后才执行,或者在某些执行程序任务执行时可能运行还在运行?
BLOCK 2
BLOCK 1
如果两个块有可能同时运行,防止这种情况的最佳方法是什么?我需要处理累加器的内容,但仅在所有执行器完成后才处理。
如图所示使用主URL local[4]运行时,看起来BLOCK 2等待BLOCK 1完成,但是在运行{{1 }},表明yarn与BLOCK 2中的执行程序任务同时运行
local[4]
yarn