我正在尝试将我的application.properties文件传递给我的spark-submit命令。
此application.properties文件保留在HDFS上
git difftool --tool-help
在我的代码中,我试图使用下面的代码来获取它:
spark-submit --class TestConfig --files C:\\Myfiles\\application.properties C:\\myjars\\prj-test-0.1.jar
但由于这个val sparkPropertiesFile = SparkFiles.get("application.properties")
println("Spark properties : " + sparkPropertiesFile)
val sparkProperties = ConfigFactory.load(sparkPropertiesFile)
val sparkRuntimeConfig = sparkProperties.getConfig("runtime").entrySet().iterator()
选项
SparkFiles.get()
在我的代码中读取此外部属性文件的代码/方式应该是什么??