提交spark应用程序时，我可以设置通用（不是spark。*）参数吗？

Question

在spark-submit中设置参数的常规方法是使用--conf：

spark2-shell --conf "spark.nonexisting=true" --conf "failOnDataLoss=false"

不幸的是，这仅适用于spark。*参数，我需要设置其他简单忽略的参数：

scala> spark.conf.getAll.filter(p => (p._1 contains "nonexisting") || (p._1 contains "failOnDataLoss"))
res3: scala.collection.immutable.Map[String,String] = Map(spark.nonexisting -> true)

当然，我可以在运行时设置任何内容，但在我的情况下，这不是一个可接受的解决方案。

Answer 1

你可以：

• 使用lightbend/config等通用配置工具。

• 在Spark配置中引入您自己的命名空间，以避免与构建的命名空间发生冲突，例如：

  --conf "spark.wrodionow.failOnDataLoss=false"
  

• 对于提交的程序，您还可以使用标准参数：

   spark-submit my.jar --some_option ... --other_option ...