hadoop新版本 - HDP-2.6.3.0失败,因为不必要的repo文件

时间:2018-01-13 19:17:01

标签: hadoop hdfs bigdata redhat ambari

我们正在尝试在我们的redhat机器上安装新的hadoop版本HDP版本作为临时安装(redhat 7.3版本)

HDP-2.6.3.0-centos7-rpm.tar.gz
ambari-2.6.0.0-centos7.tar.gz

在安装新的HDP版本之前,我们当前的HDP存储库是(在/etc/yum.repo.d下)

所以关于我们已经放弃了HDP reposoitory,我们假设hadoop安装将使用这个repo进行安装

出HDP repo的例子(master02是ambari服务器机器)

more HDP.repo
[HDP-2.6]
name=HDP-2.6
baseurl=http://master02.sys56.com/HDP/centos7/2.6.3.0-235

path=/
enabled=1
gpgcheck=0

但是在HDP-2.6.3.0安装(蓝图安装)期间,我们看到了非常奇怪的事情......

尽管我们已经拥有HDP存储库

blueprint安装推送另一个repo文件:(在/etc/yum.rep.d下)

如下:

more ambari-hdp-1.repo ( this repo not created on the previos version )

[HDP-2.6-repo-1]
name=HDP-2.6-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.0.3


path=/
enabled=1
gpgcheck=0
[HDP-UTILS-1.1.0.21-repo-1]
name=HDP-UTILS-1.1.0.21-repo-1
baseurl=http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.21/repos/centos7


path=/
enabled=1
gpgcheck=0

问题是为什么?

我问这个是因为这个新的仓库破坏了蓝图安装

1 个答案:

答案 0 :(得分:0)

TLDR;

在安装软件包之前,您需要更改hdp.repo文件中的存储库信息以匹配新的Ambari文件。您可以保留自定义baseurl,但存储库ID需要与新文件匹配。

长版:

Ambari Blueprint与Hortonworks存储库文件之间存在不一致。 Ambari Blueprint正在使用以下文件来设置它的存储库:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml

$ curl -sS http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/HDP-2.6.3.0-235.xml | grep "repoid" <repoid>HDP-2.6</repoid> <repoid>HDP-UTILS-1.1.0.21</repoid>

在查找目标系统上的存储库之前,Ambari会自动将-repo-1添加到repoid中,以便我们得到:

  • HDP-2.6-回购1
  • HDP-UTILS-1.1.0.21-回购1

Hortonworks在这里提供了自己的yum repo文件:http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/hdp.repo 但存储库ID不同:

$ curl -sS http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.6.3.0/hdp.repo | grep "[][]" [HDP-2.6.3.0] [HDP-UTILS-1.1.0.21]

如果Ambari没有找到存储库(因为ID不同而没有找到存储库),那么它会自行添加它会破坏您的设置。