apache-spark - 在一台服务器上运行多个Spark版本

时间：2018-02-16 08:04:37

标签： apache-spark apache-spark-2.0

我希望在一台服务器上部署两个版本的Spark。最初我部署了2.2.0版本。

现在我也部署了2.0.1但是当我在其sbin文件夹版本2.2.0中运行start-master.sh时启动了。这可能是因为SPARK_HOME仍然设置为2.2.0。

我有什么方法可以配置SPARK_HOME，这样两个版本都能正常工作吗？

我不确定这有什么不同，但我不打算同时运行这两个版本。

答案 0 :(得分：1)

要在单个hadoop集群中管理多个版本的spark，我们可以使用CDH parcel轻松管理spark服务及其配置。

当我们要在单个群集中使用多个spark版本时，您应该配置spark shuffle服务。