我正在尝试通过--files加载配置文件。
spark-submit --master yarn --deploy-mode cluster --files tables.conf
然后我从
看到了SparkFiles.getRootDirectory()
SparkFiles.get("tables.conf")
这是正常的道路。
但是,当我初始化配置,并希望使用它时
val conf = ConfigFactory.parseFile(newjava.io.File(SparkFiles.get("tables.conf")))
conf.getConfig("custom-context")
我捕获异常“找不到密钥的配置设置”
Spark版本2.1.0
tables.conf:
custom-context {
history-type {
ods=true
}
}
你能帮帮我吗?