Spark提交属性文件

Question

我尝试使用配置文件中指定的属性运行spark-submit失败。

我可以使用以下方式提交工作

spark_home/spark-submit \
--class MyClass \
--master spark://my_master \
--files test.config \
--jars build/jars/MyProject.jar, build/jars/Config.jar

但是当我将其复制到我的属性文件中时：

spark.class   MyClass
spark.master  spark://my_master
spark.files   test.config
spark.jars    build/jars/MyProject.jar, build/jars/Config.jar

在尝试将此文件与spark-submit一起使用时，出现错误：java.lang.IllegalArgumentException：缺少应用程序资源

spark_home/spark-submit \
--properties-file  conf/properties.conf

我是否需要提供其他参数？我以为我使用了相同的论点，但似乎我仍然缺少一步。

Answer 1

正如Mark所评论的那样，似乎如果您未指定--jars和--class选项，则必须在包jar中包含一个参数以spark-submit提交。

您应该使用：

spark_home/spark-submit build/jars/MyProject.jar \
    --properties-file conf/properties.conf