我知道它存在跨构建选项,可以生成以不同的scala版本运行的各种版本的scala API。假设我将使用相同的Scala版本2.11.12
,如何设置build.sbt
来处理多个版本的spark。我有一些关于"provided"
用于依赖项的提示,但我不确定这是处理它的最佳方法。
奖励:如果某些Spark版本使用2.11,而其他版本使用2.12 ...
如果您已经解决了这个问题,请告诉我们。
答案 0 :(得分:0)
"org.apache.spark" %% "spark-core" % "2.3.2"
在定义依赖项时使用双%-sign,然后sbt将为您处理scala版本。您应该为所有依赖项使用相同的scala版本。