编辑hadoop
.xml
配置文件(例如hdfs-site.xml)时,hadoop
群集的哪个节点应该是用于编辑文件的节点? IE浏览器。拥有许多节点的集群,所有节点都有一个包含.xml和.properties文件的hadoop文件夹,这些文件设置了'应该编辑文件以进行配置更改?无法通过查看docs来判断。
EG。我正在尝试配置hadoop
以便在找到配置更改here后使用hue
,其中需要向hdfs-site.xml添加行,但此文件存在于群集的所有节点上。我是否需要为每个节点手动编辑?是否取决于节点是否正在运行某个服务(例如,只需要更改运行资源管理器服务的节点上的配置文件)?
不要经常使用hadoop
,因此请详细解释。感谢。
完全披露(澄清):我使用的是名为hadoop
的商业版mapr
。
答案 0 :(得分:1)
此文件存在于群集的所有节点上。我是否需要为每个节点手动编辑?
简短回答。是的,但看到答案的底部。
如果您正在设置Hue,您实际上只需要更改Hue服务器上的值。在大多数情况下,所有其他节点应该已经定义了您正在配置Hue的设置。
包括
设置的那些仍然不了解这是如何在表面下工作的
Hadoop及其组件以分布式方式运行。每个主机上都有客户端读取这些文件。如果您在给定的计算机上没有Application Master或ResourceManager,它显然不需要yarn-site.xml或mapred-site.xml ...类似地,hive-site.xml for Hive& Impala ......真的那么简单
使用名为mapr的商业版hadoop
Haven没有使用MapR,但如果它没有提供GUI来同步配置,我会感到非常惊讶。 Hortonworks使用Apache Ambari; Cloudera使用Cloudera Manager。
答案 1 :(得分:0)
想想找到答案(来自用户ProfVersaggi在另一个post的评论中)。似乎必须在群集中的所有节点上复制文件更改才能使更改生效。
这回答了我最初的问题,但仍然不了解这是如何在表面下工作的,并且仍然会欣赏任何解释。