spark-submit选项 - 文件

时间:2017-03-07 09:54:31

标签: scala apache-spark yarn typesafe-config

我正在尝试通过--files加载配置文件。

spark-submit --master yarn --deploy-mode cluster --files tables.conf

然后我从

看到了
SparkFiles.getRootDirectory()
SparkFiles.get("tables.conf")

这是正常的道路。

但是,当我初始化配置,并希望使用它时

val conf = ConfigFactory.parseFile(newjava.io.File(SparkFiles.get("tables.conf")))
conf.getConfig("custom-context")

我捕获异常“找不到密钥的配置设置”

Spark版本2.1.0

tables.conf:

  custom-context {
    history-type {
      ods=true
    }
  }

你能帮帮我吗?

0 个答案:

没有答案