ClassNotFoundException火花提交纱线

Question

我有一个spark程序（scala）。

我运行命令汇编来获取一个jar。

我将jar放在hdfs群集上（因此jar实际位于服务器上）

我运行命令jar -tvf以确保我的主类在jar中（它是：com/mycompany/MyMainClass.class

我尝试在我的集群的服务器上运行以下命令 ./hadoop/spark/bin/spark-submit --class com.mycompany.MyMainClass --master yarn project.jar

我有这个错误：

Failed to load com.mycompany.MyMainClass.
java.lang.ClassNotFoundException: com.mycompany.MyMainClass

有人可以帮我吗？

Answer 1

将整个路径放在jar参数中 https://spark.apache.org/docs/latest/submitting-applications.html

Answer 2

这是因为scala在sbt中进行了汇编，这对我来说是正确的mergeStrategy

`assemblyMergeStrategy in assembly := {
  case PathList("META-INF", xs @ _*) => MergeStrategy.discard
  case _ => MergeStrategy.first
}`