为emr上的“ spark-submit”作业指定markweep gc

Question

在emr上运行spark-submit作业时，如何指定希望jvm使用MarkSweep gc？我可以随工作一起提交（即spark-submit -- conf...）吗？如果可以，命令是什么？是否必须在启动火花时设置？如果是的话，如何在emr配置中指定？

谢谢！

Answer 1

您可以在--conf "spark.driver.extraJavaOptions=<YourJavaOptionsHere>"之后的spark-submit中指定JVM选项。

例如，使用ParallelScavenge GC运行graphX的PageRank示例将如下所示：

spark-submit run-example --conf "spark.driver.extraJavaOptions=-XX:+UseParallelGC" graphx.PageRankExample

更多信息位于https://spark.apache.org/docs/latest/configuration.html#runtime-environment