在正在运行的流作业上刷新Spark属性

时间:2016-10-12 21:32:13

标签: apache-spark spark-streaming

我想更新当前正在运行的火花流工作的spark属性。

我在程序中的SparkConf上设置了一些属性,在spark-defaults.conf上设置了一些属性。

我如何更新它们以便我正在运行的工作会选择它们?

是否可以这样做?

1 个答案:

答案 0 :(得分:2)

通常无法在运行时刷新配置。只有某些SQL选项可以使用活动上下文进行更改。

否则:

  • 修改配置
  • 重新启动应用