我很乐意在新版本中使用hadoop和其他一些软件包,而当前的HDP2.6.3版本允许使用。
这种单组件版本升级是否有选项?
答案 0 :(得分:3)
在Ambari 3.0之前,此功能尚未准备就绪。见AMBARI-18678& AMBARI-14714
根据您要升级的内容,我不会建议。
例如,HBase,Hive和Spark尚不支持Hadoop 3.0。像Spark,Kafka,NiFi这样的HDP的流媒体组件似乎更频繁地发布版本,并且Ambari之外还有一些方法可以升级它们。
您不需要HDP或Ambari来管理您的Hadoop,但它确实为群集创建了一个不错的包和集中管理组件。如果您自己升级部件,则存在不兼容的风险。
HDP作为一个整体进行测试。您在Ambari中设置的Hortonworks存储库限制了您可以使用的组件版本,但这并不能阻止您使用自己的存储库以及Puppet / Chef将其他软件安装到您的Hadoop环境中。你在这一点上唯一失去的是Ambari的管理和配置。
您可以尝试定义自己的Ambari Mpack来安装其他软件,但请确保您有足够的资源来维护它。
答案 1 :(得分:1)
Ambari升级步骤在Hortonworks文档中有详细记录,您可以按照以下链接升级Ambari + Hadoop组件
以下
中提供了所有2.6包网址您可以使用yum或apt-get或其他软件包管理器执行单个组件(HADOOP - 包括HDFS和YARN,HIVE,OOZIE等)升级,但由于依赖性问题,不建议在Hadoop集群中进行单个组件升级 - 服务有时可能会失败,因此最好不得不升级HDP堆栈而不是升级单个组件。
此外,您还需要检查hortonworks文档中的Amabari版本兼容性,如果您计划仅升级没有Ambari的Hadoop核心软件包,则其他宽集群监控可能会失败