我正在运行一个将使用文件中的配置参数的spark应用程序。
文件: - Spark.conf
lists:all(fun(X) -> f(X) end, L)
% or
lists:all(fun f/1, L)
如何在运行时使用此文件。 当我们对配置文件进行更改时,如何使作业在运行时动态选择文件,而不是重新启动作业。
我尝试使用username=ankush
password=ankush
host=https://
port=22
outputDirectory=/home/ankush/data/
的spark-submit来使用它,但这是在寻找一个不是文件的变量。
是否有可能实现这一点。
提前感谢您的帮助。
答案 0 :(得分:0)
您可以将变量保存在conf / spark-defaults.conf文件中。
价: https://spark.apache.org/docs/latest/configuration.html#dynamically-loading-spark-properties