跨版本的Scala API适用于各种Spark版本

时间:2018-10-24 20:55:47

标签: scala apache-spark sbt

我知道它存在跨构建选项,可以生成以不同的scala版本运行的各种版本的scala API。假设我将使用相同的Scala版本2.11.12,如何设置build.sbt来处理多个版本的spark。我有一些关于"provided"用于依赖项的提示,但我不确定这是处理它的最佳方法。

奖励:如果某些Spark版本使用2.11,而其他版本使用2.12 ...

如果您已经解决了这个问题,请告诉我们。

1 个答案:

答案 0 :(得分:0)

"org.apache.spark" %% "spark-core" % "2.3.2"

在定义依赖项时使用双%-sign,然后sbt将为您处理scala版本。您应该为所有依赖项使用相同的scala版本。