Question

我使用maven构建了一个火花流应用程序。我在hdinsight中使用来自head节点的spark-submit执行它。该应用程序使用外部配置文件。但它无法找到那些。我尝试过使用本地路径，hdfs路径和blob存储路径（wasb）。但我无法让它发挥作用。有人可以建议从应用程序引用外部文件的正确方法是什么？

Answer 1

这是一个例子：

/usr/hdp/current/spark2-client/bin/spark-submit 
--deploy-mode cluster 
--num-executors 1 
--files /home/sshuser/config.json,/home/sshuser/config2.json 
--class com.test.MyClass /home/sshuser/myApp.jar config.json

然后，您只能按文件名引用文件，例如：

def main(args: Array[String]): Unit = {

    val configurationFileLocation = args(0)

    ConfigProvider.setConfiguration(Utility.loadConfiguration(configurationFileLocation))

无法从azure上的spark应用程序访问外部文件

1 个答案: