Spark应用程序覆盖yarn-site.xml配置参数

Question

当我提交Spark应用程序时，我需要覆盖yarn-site.xml中的一个Yarn配置参数。我可以将它作为额外的参数传递给saprk-submit吗？

我要覆盖的参数是yarn.nodemanager.vmem-check-enabled

Answer 1

您可以在使用spark-submit提交作业时使用--conf

--conf "yarn.nodemanager.vmem-check-enabled"

或者您也可以使用代码SparkSession.conf.set

在程序中设置

来自文档

  

Spark应用程序的配置。用于设置各种Spark   参数作为键值对。

     

大多数情况下，您将使用new创建SparkConf对象   SparkConf（），它将从任何spark。* Java系统加载值   在您的应用程序中设置的属性。在这种情况下，参数   您直接在SparkConf对象上设置优先于系统   属性。

     

对于单元测试，您还可以调用新的SparkConf（false）来跳过加载   外部设置，无论如何都得到相同的配置   系统属性是。

     

此类中的所有setter方法都支持链接。例如，你   可以编写新的SparkConf（）。setMaster（＆＃34; local＆＃34;）。setAppName（＆＃34;我的应用＆＃34;）。