我通过$SPARK_HOME/bin/spark-submit --master yarn --deploy-mode cluster在集群上运行了多个spark作业。
当新版本的Spark上线时，我想以某种方式在群集上推出新的发行版，并与旧版本一起，然后逐步迁移我的所有作业。
不幸的是，Spark依靠$SPARK_HOME全局变量，所以我不知道如何实现它。
当Spark for Scala 2.12退出时，这将特别有用。
答案 0 :(得分：2)
可以在YARN群集上运行任意数量的Spark发行版。我在MapR集群上做了很多次，混合了1-3个不同的版本，并在那里建立了官方的Apache Spark。
您需要做的只是调整conf / spark-env.sh（重命名spark-env.sh.template），然后添加一行：
export SPARK_HOME=/your/location/of/spark/spark-2.1.0