Spark消耗更多的堆内存。是真的吗

Question

关于堆内存。

相比Hadoop，Spark消耗更多的堆内存。

请给我建议。

Answer 1

从Apache Spark版本1.6.0开始，内存管理模型已更改。旧的内存管理模型由StaticMemoryManager类实现，现在称为“旧版”。默认情况下，“传统”模式处于禁用状态，这意味着在Spark 1.5.x和1.6.0上运行相同的代码将导致不同的行为，请谨慎操作。为了兼容性，您可以使用spark.memory.useLegacyMode参数启用“旧版”模型，该参数默认情况下处于关闭状态。

这也取决于您的堆配置。