无法通过SparkConf编程设置哪些Spark属性

时间:2018-12-26 11:01:15

标签: apache-spark

here

所述
  

Spark属性主要可以分为两种:一种与部署相关,例如“ spark.driver.memory”,“ spark.executor.instances”,当通过SparkConf进行编程设置时,此类属性可能不会受到影响。运行时,或行为取决于选择的集群管理器和部署模式,因此建议通过配置文件或spark-submit命令行选项进行设置;另一个主要与Spark运行时控件有关,例如“ spark.task.maxFailures”,可以用任何一种方式设置这种属性。

但这只是一个示例,它没有明确说明不能通过编程方式设置哪些属性(这意味着只能通过spark-submit命令行设置)。

有人知道吗?我只是找不到与此相关的文档...

非常感谢。

0 个答案:

没有答案