通过Spark提交加载外部TypeSafe配置文件

时间:2018-09-27 00:44:05

标签: scala apache-spark typesafe-config

我已经编写了一个scala代码,以使用typesafe从conf文件中加载配置和参数。 我的 parameters.conf 文件如下:

{
"parameterInputPath": "/home/data/*.parquet"
}

这是与FAT JAR打包在一起的,但是我希望此文件在运行时加载,因此我试图在我的Spark提交中传递--files,但是它不起作用。有人可以帮忙吗?

  

spark-submit --class spark.application.test my-jar-assembly.jar --properties-file /home/files/myfile.conf --files /home/files/myfile.conf

0 个答案:

没有答案