我希望在一台服务器上部署两个版本的Spark。最初我部署了2.2.0版本。
现在我也部署了2.0.1但是当我在其sbin文件夹版本2.2.0中运行start-master.sh时启动了。这可能是因为SPARK_HOME仍然设置为2.2.0。
我有什么方法可以配置SPARK_HOME，这样两个版本都能正常工作吗？
我不确定这有什么不同，但我不打算同时运行这两个版本。
答案 0 :(得分：1)
要在单个hadoop集群中管理多个版本的spark，我们可以使用CDH parcel轻松管理spark服务及其配置。
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html
当我们要在单个群集中使用多个spark版本时，您应该配置spark shuffle服务。
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
http://spark.apache.org/docs/latest/job-scheduling.html#configuration-and-setup