Question

使用EMR（使用Spark，Zeppelin）时，在Zeppelin Spark解释器设置中更改spark.driver.memory将不起作用。

我想知道在使用EMR Web界面（不是aws CLI）创建集群时，设置Spark驱动程序内存的最佳和最快方法是什么？

Bootstrap行动可能是一个解决方案吗？如果是，请举例说明引导操作文件的外观如何？

Answer 1

您始终可以尝试在作业流/群集创建上添加以下配置：

[
    {
        "Classification": "spark-defaults",
        "Properties": {
            "spark.driver.memory": "12G"
        }
    }
]

您可以执行以下大多数配置，无论是spark-default，hadoop core-site等。

我希望这有帮助！