如何将文件中的配置参数作为spark作业的环境变量传递?

时间:2017-08-31 19:28:56

标签: apache-spark environment-variables spark-submit bigdata

我正在运行一个将使用文件中的配置参数的spark应用程序。

文件: - Spark.conf

lists:all(fun(X) -> f(X) end, L)

% or

lists:all(fun f/1, L)

如何在运行时使用此文件。 当我们对配置文件进行更改时,如何使作业在运行时动态选择文件,而不是重新启动作业。

我尝试使用username=ankush password=ankush host=https:// port=22 outputDirectory=/home/ankush/data/ 的spark-submit来使用它,但这是在寻找一个不是文件的变量。

是否有可能实现这一点。

提前感谢您的帮助。

1 个答案:

答案 0 :(得分:0)

您可以将变量保存在conf / spark-defaults.conf文件中。

价: https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties