设置每个Spark阶段的内存

Question

有没有办法在不同的Spark阶段使用不同数量的内存？

我有一个非常渴望记忆的舞台和一群根本不需要太多记忆的人。现在我的工作是在工作的整个生命周期中保留大量的内存，以满足内存饥渴的阶段，尽管在一小部分时间内只需要那么多的内存。

Answer 1

您可以启用动态执行程序分配，并为内存密集型阶段增加分区，并在之后减少分区。不幸的是，YARN不接受容器的动态大小调整，一旦请求它们就是静态的。动态分配将至少允许您在进入内存密集型部分时启动一堆工作人员。