Apache Spark 2.3.1和2.0.0的兼容性

Question

我想使用使用Apache Spark 2.0.0（GitHub repo here）开发的应用程序，但是我的iMac上仅安装了Spark 2.3.1（目前看来它是唯一由Homebrew支持的应用程序） ）。我可以用sbt assembly成功地编译它，但是随后在运行给定here的第一个示例时，出现以下错误：

  

java.lang.NoSuchMethodError：breeze.linalg.DenseVector $ .canDotD（）Lbreeze / generic / UFunc $ UImpl2;

这是Spark 2.0.0和Spark 2.3.1使用的两个不同版本的Scala-breeze之间的兼容性问题吗？有没有一种方法可以轻松更改代码，以便能够与Spark 2.3.1一起使用？ （我以前从未使用过scala）

Answer 1

可能是。 您始终可以手动下载所需版本的Apache Spark（不是通过自制软件，而是通过从官方页面下载tar.gz归档文件并将其解压缩）。