在哪个节点上编辑hadoop .xml文件?

时间:2017-12-12 19:43:56

标签: hadoop hue mapr

编辑hadoop .xml配置文件(例如hdfs-site.xml)时,hadoop群集的哪个节点应该是用于编辑文件的节点? IE浏览器。拥有许多节点的集群,所有节点都有一个包含.xml和.properties文件的hadoop文件夹,这些文件设置了'应该编辑文件以进行配置更改?无法通过查看docs来判断。

EG。我正在尝试配置hadoop以便在找到配置更改here后使用hue,其中需要向hdfs-site.xml添加行,但此文件存在于群集的所有节点上。我是否需要为每个节点手动编辑?是否取决于节点是否正在运行某个服务(例如,只需要更改运行资源管理器服务的节点上的配置文件)?

不要经常使用hadoop,因此请详细解释。感谢。

完全披露(澄清):我使用的是名为hadoop的商业版mapr

2 个答案:

答案 0 :(得分:1)

  

此文件存在于群集的所有节点上。我是否需要为每个节点手动编辑?

简短回答。是的,但看到答案的底部。

如果您正在设置Hue,您实际上只需要更改Hue服务器上的值。在大多数情况下,所有其他节点应该已经定义了您正在配置Hue的设置。

包括

设置的那些
  • HDFS(或MapR-FS)
  • YARN
  • Hive / Impala
  • HBase的
  • Oozie的
  

仍然不了解这是如何在表面下工作的

Hadoop及其组件以分布式方式运行。每个主机上都有客户端读取这些文件。如果您在给定的计算机上没有Application Master或ResourceManager,它显然不需要yarn-site.xml或mapred-site.xml ...类似地,hive-site.xml for Hive& Impala ......真的那么简单

  

使用名为mapr的商业版hadoop

Haven没有使用MapR,但如果它没有提供GUI来同步配置,我会感到非常惊讶。 Hortonworks使用Apache Ambari; Cloudera使用Cloudera Manager。

答案 1 :(得分:0)

想想找到答案(来自用户ProfVersaggi在另一个post的评论中)。似乎必须在群集中的所有节点上复制文件更改才能使更改生效。

这回答了我最初的问题,但仍然不了解这是如何在表面下工作的,并且仍然会欣赏任何解释。