我已经编写了一个scala代码,以使用typesafe从conf文件中加载配置和参数。 我的 parameters.conf 文件如下:
{
"parameterInputPath": "/home/data/*.parquet"
}
这是与FAT JAR打包在一起的,但是我希望此文件在运行时加载,因此我试图在我的Spark提交中传递--files,但是它不起作用。有人可以帮忙吗?
spark-submit --class spark.application.test my-jar-assembly.jar --properties-file /home/files/myfile.conf --files /home/files/myfile.conf