在Ambari HDP 2.5.0中SPARK个人升级到2.1.0

时间:2017-04-24 11:43:00

标签: apache-spark pyspark hadoop2 ambari

我想将我的SPark组件从其在Ambari中的默认2.0.x.2.5升级到2.1.0。

我在Ambari 2.4.2中使用HDP 2.5.0。

欣赏任何实现这一目标的想法。

2 个答案:

答案 0 :(得分:1)

HDP 2.5随附Spark 2.0的技术预览版,以及Spark 1.6.x.如果您不想使用这些版本中的任何一个并且您希望Ambari为您管理服务,那么您将需要为您想要的Spark版本编写自定义服务。如果您不希望ambari管理Spark实例,您可以按照Hortonworks Community Forum上提供的类似说明手动安装Spark 2.x而无需管理。

答案 1 :(得分:0)

较新版本的Ambari(可能是3.0)可能会支持每个组件升级/多个组件版本

有关详细信息,请参阅https://issues.apache.org/jira/browse/AMBARI-12556