使用Ambari进行普通香草Hadoop安装与Hadoop安装

Question

我最近从Apache下载了hadoop发行版并且运行得非常快;下载hadoop tar球，在一个位置和一些配置设置解压缩它。这里的事情是我能够看到各种配置文件，如：yarn-site.xml，hdfs-site.xml等;我知道hadoop家的位置。

接下来，我使用Ambari安装了hadoop（HDP）。

混淆部分来了。似乎Ambarin在/ usr / hdp中安装了hdp;然而普通香草hadoop与Ambari的目录结构完全不同。我无法找到配置文件，例如yarn-site.xml等。

所以有人可以帮我解开这个神秘面纱吗？

Answer 1

所有配置更改必须通过 Ambari UI 完成。由于Ambari在Ambari数据库中保留了配置，因此配置文件没有用处。

如果您仍然需要它们，则它们位于/etc/hadoop/conf/之下。

Answer 2

确实必须通过Ambari UI进行配置更改，并且这些配置存储在数据库中。

为什么有必要在Ambari UI中更改这些配置属性而不是直接在磁盘上？

每次重新启动服务并且配置过时时，ambari-agent都负责将最新配置写入磁盘。它们写入$ for f in $(find -type f -name *.mkv); do ffmpeg -n -i "$f" -c:v copy "~/Pobrane/$f" ; done 。如果您要直接对磁盘上的配置文件进行更改，则会被上述过程覆盖。

但是，磁盘 DO 上的配置文件仍然有用...

配置文件（在磁盘上）由各种hadoop守护进程启动/运行时使用。

Answer 3

基本上在群集Hadoop部署中使用Ambari UI的好处。它将为您提供中央管理点。

例如：

10个Hadoop群集设置。

Plain vanilla Hadoop：

• 如果您更改任何配置，则必须更改为10件

Ambari UI：

• 由于db中的配置存储。您只需在管理门户中更改通过单点更改在所有节点上反映的所有更改效果。