Hadoop YARN的Spark资源分配缓慢

Question

我遇到了这样的问题，即YARN在为spark分配资源时非常慢，有时添加执行器太晚了。停电后此操作开始，重新启动群集后，即使我重新启动几次，它也开始运行缓慢。没有配置被更改。以前一切正常。

上图显示执行器添加得很晚。有时根本没有添加一些执行器。下面的图片是在停电之前拍摄的。

谁能知道发生了什么事？它仍在工作，但比以前慢得多。

Answer 1

纱线具有动态资源分配属性。我不确定您是否启用了此属性。如果启用，表明yarn将根据负载分配资源。