使用Scala 2.11在独立模式下运行Spark?

时间:2015-04-15 18:53:36

标签: scala apache-spark scala-2.11

我按照说明使用Scala 2.11构建Spark:

mvn -Dscala-2.11 -DskipTests clean package

然后我按照说明启动:

./sbin/start-master.sh

它在日志文件中有两行失败:

Failed to find Spark assembly in /etc/spark-1.2.1/assembly/target/scala-2.10
You need to build Spark before running this program.

显然,它正在寻找scala-2.10版本,但我做了一个scala-2.11版本。我尝试了明显的-Dscala-2.11标志,但这没有改变任何东西。文档没有提到有关如何使用scala 2.11在独立模式下运行的任何内容。

提前致谢!

1 个答案:

答案 0 :(得分:6)

在构建之前,您必须运行以下脚本:

  

开发/ change-version-to-2.11.sh

哪个应该用2.11替换对2.10的引用。

  

请注意,这不一定适用于非GNU sed(例如OS X)