将属性文件外部传递给spark-submit Scala

时间:2017-12-10 05:40:39

标签: scala apache-spark

我正在尝试将我的application.properties文件传递给我的spark-submit命令。

此application.properties文件保留在HDFS上

git difftool --tool-help

在我的代码中,我试图使用下面的代码来获取它:

spark-submit --class TestConfig --files C:\\Myfiles\\application.properties C:\\myjars\\prj-test-0.1.jar 

但由于这个val sparkPropertiesFile = SparkFiles.get("application.properties") println("Spark properties : " + sparkPropertiesFile) val sparkProperties = ConfigFactory.load(sparkPropertiesFile) val sparkRuntimeConfig = sparkProperties.getConfig("runtime").entrySet().iterator() 选项

,这给了我NullPointer
SparkFiles.get()

在我的代码中读取此外部属性文件的代码/方式应该是什么??

0 个答案:

没有答案