在spark作业中设置其他jar,而不会被覆盖

时间:2019-12-10 08:58:17

标签: apache-spark pyspark apache-spark-sql ambari

要求是使用以下关键属性的名称设置其他jar和属性,这些属性将在每个Spark作业的服务级别上进行配置,这是具有挑战性的部分,一旦任何一个这些属性被覆盖,它们由开发人员在作业级别中使用和配置。我们如何才能永久设置它们,并允许附加开发人员的配置而不是替换它们?

  • spark.driver.extraJavaOptions
  • spark.executor.extraJavaOptions
  • spark.jars

0 个答案:

没有答案