Question

我的代码就像：

val config = ConfigFactory.load

默认情况下，它从 application.conf 获取键值对。然后我使用-Dconfig.file =指向另一个conf文件。

它适用于以下命令：

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf /home/user-jar-with-dependencies.jar

但现在我需要将 userconfig.conf 拆分为2个文件。我试过下面的命令。它没有用。

dse -u cassandra -p cassandra spark-submit 
    --class packagename.classname --driver-java-options 
    -Dconfig.file=/home/userconfig.conf,env.conf 
     /home/user-jar-with-dependencies.jar

Answer 1

默认情况下，spark会查看defaults.conf但您可以1）使用'properties-file'指定另一个文件2）您可以使用--conf传递单个keu值属性或3）您可以编程方式设置配置你的代码使用sparkConf对象

这有帮助还是您在寻找akka application.conf文件？

替换spark-submit中的默认application.conf文件

1 个答案: