Spark：java.lang.NoClassDefFoundError：scala / collection / mutable / ArraySeq $ ofRef

Question

我正在尝试使用spark-submit运行一个简单的字数统计程序并遇到异常。

  

线程“ main”中的异常java.lang.BootstrapMethodError：java.lang.NoClassDefFoundError：       scala / collection / mutable / ArraySeq $ ofRef           在SparkWordCount $ .main（SparkWordCount.scala：18）

从第18行开始的代码是

val count = input.flatMap(line ⇒ line.split(" "))
    .map(word ⇒ (word, 1))
    .reduceByKey(_ + _)

我的环境：

• Windows 10
• java版本“ 1.8.0_221”
• spark-shell显示：Spark版本2.4.4（使用Scala版本2.11.12）
• scala -version命令显示 Scala代码运行程序版本2.13.1

Answer 1

如评论中所述，解决方案是使用将在集群上使用的相同版本的Scala进行开发。