Question

有人可以告诉我是否可以通过＆＃34; 1点击安装程序＆＃34; 1将各个CDH组件从5.7更新到5.13。社区版？

例如，我想说我只想更新服务器中的hadoop-hdfs-datanode到最新版本。如果我sudo apt-get install hadoop-hdfs-datanode它正在更新也在该节点中运行的其他CDH组件（如resource-manager，node-manager等）。

正如所讨论here如果我尝试升级hadoop-yarn-resourcemanager，它正在升级几乎所有的cdh hadoop组件

support@platform1:~$ sudo apt-get install hadoop-yarn-resourcemanager
Reading package lists... Done
Building dependency tree
Reading state information... Done
The following extra packages will be installed:
  hadoop hadoop-0.20-mapreduce hadoop-client hadoop-conf-pseudo hadoop-hdfs
  hadoop-hdfs-datanode hadoop-hdfs-journalnode hadoop-hdfs-namenode
  hadoop-hdfs-secondarynamenode hadoop-hdfs-zkfc hadoop-mapreduce
  hadoop-mapreduce-historyserver hadoop-yarn hadoop-yarn-nodemanager
The following packages will be upgraded:
  hadoop hadoop-0.20-mapreduce hadoop-client hadoop-conf-pseudo hadoop-hdfs
  hadoop-hdfs-datanode hadoop-hdfs-journalnode hadoop-hdfs-namenode
  hadoop-hdfs-secondarynamenode hadoop-hdfs-zkfc hadoop-mapreduce
  hadoop-mapreduce-historyserver hadoop-yarn hadoop-yarn-nodemanager
  hadoop-yarn-resourcemanager
15 upgraded, 0 newly installed, 0 to remove and 16 not upgraded.

Answer 1

它正在更新也在该节点中运行的其他CDH组件

我怀疑它是在升级节点中的所有内容，只是升级hadoop客户端的相关服务。

如果你要自己安装Hadoop，它包括HDFS，MapReduce，YARN和Hadoop客户端库。因此，升级datanode包会尝试获取那些，而不是HBase，Hive，Pig，Spark，Oozie等软件包。

基本上，您需要确保所有Hadoop客户端库都是相同的版本。 CDH本身并没有在这些版本之间移除Hadoop 2.6.0，虽然它已经为该基础版本添加了补丁，因此升级可能没问题。

但是，我们以HBase为例。 From the documentation，它支持Hadoop 2.6.0,2.7.0和Hadoop 2.8.x; Hadoop 3.x未经过测试;仅支持2.6.1+或2.7.1+。

继续说

在分布式模式下，群集外的Hadoop版本与HBase下的版本匹配 critical ...确保在整个群集中替换HBase中的jar。 Hadoop版本不匹配问题有各种各样的表现形式，但通常看起来都像挂起

应该遵循所有组件升级，Cloudera努力确保单个版本的所有组件协同工作，而不是跨版本混合。

通过＆＃1; 1单击安装程序＆＃39;更新社区版中的各个CDH组件。

1 个答案: