我已经通过Cloudera Manager安装了一个集群,现在我需要手动启动集群。
我一直在使用以下命令:
$ sudo -u hdfs hadoop namenode / datanode / jobtracker
但是dfs.name.dir
设置为/tmp
。我似乎无法找到cloudera经理在哪里有HDFS配置文件。 /usr/lib/hadoop-02*/conf
中的那些似乎很小。他们错过了我正在寻找的dfs.name.dir
。顺便说一下,我在RHLE 6系统上。懒惰,我虽然可以复制cloudera manager的HDFS配置文件,所以我不必手动创建它们,将它们复制到6个节点:)
由于
答案 0 :(得分:5)
我遇到了同样的问题。 我正在从cloudera manager ui更改配置参数,但在我的更改在本地文件系统上更新的时候一无所知。
我运行了grep命令,发现在我的情况下,配置存储在/ var / run / cloudera-scm-agent / process / * -hdfs-NAMENODE目录中。
所以David是对的,每当我们从ui更改配置并重新启动服务时,它就会创建新的配置。 / var / run / cloudera-scm-agent / process / directory中的设置。
答案 1 :(得分:2)
使用CentOS 6.5时,Cloudera Manager特殊文件不会显示在SEARCH FILES结果中,因为它们的权限设置为隐藏除“hdfs”之外的所有文件。用户。此外,本地驱动器上有多个版本的hdfs-site.xml,其中一些版本具有部分实际设置。实际设置文件位于DATANODE文件夹而不是NAMENODE文件夹中,后者缺少dfs.datanode.data.dir值。
答案 2 :(得分:1)
Cloudera管理器每次启动集群时都会部署配置文件,每次都在不同的目录中。目录以进程ID或类似名称命名。
配置将作为参数显式传递给每个deamon。因此,如果您查看每个hadoop deamons的命令行,您可以看到配置位置(或者只是grep over disk for hdfs-site.xml。配置文件的名称与通常相同。
答案 3 :(得分:1)
我在同一条船上找到了这个答案:
允许Hadoop客户端用户使用HDFS,MapReduce,YARN 和您创建的HBase服务,Cloudera Manager生成客户端 包含相关配置文件的配置文件 来自您服务的设置。部署了这些文件 由Cloudera Manager根据您拥有的服务自动完成 安装,添加服务或添加网关角色时 主机。
您可以下载和分发这些客户端配置文件 必要时,手动向服务的用户。
群集“操作”菜单上的“客户端配置URL”命令 打开一个弹出窗口,显示指向客户端配置zip的链接 为群集中安装的服务创建的文件。您可以 点击链接下载这些zip文件。
有关详细信息,请参阅部署客户端配置文件 主题。
在我们的系统上,我通过http://your_server:7180/cmf/services/status
到达那里,然后点击Add Cluster按钮下的Actions弹出窗口。希望有所帮助。