如果我们使用newSession（）方法创建多个Spark会话，那么如何在多个Spark会话之间共享驱动程序内存

Question

在我的Spark应用程序中，我将借助newSession（）方法创建多个（2-3）spark会话。提交应用程序时，我将spark.driver.memory配置为24g。

如果并行处理2个不同的数据集，则如何在2个spark会话之间分配此内存。谢谢。

Answer 1

会话用于配置管理，而不用于资源管理或并行的应用程序内处理。没有任何资源分配的内置机制，从管理员的角度来看，它们是同一应用程序的一部分。

这意味着先来先得-没有分隔，但是占用资源优先。