使用cloudera manager部署hdfs core-site.xml

时间:2014-04-30 10:05:46

标签: hadoop cloudera cloudera-manager

我正在尝试使用cloudera管理器(CDH5b2)为我的配置文件添加lzo支持。

如果我将io.compression.codecs添加到服务范围的hdfs配置,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site.xml现在包含新值。

但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml具有更高的优先级(update-alternatives --display hadoop-conf),当我启动MR作业时,不会使用hdfs core-site.xml值。

显然,我可以手动修改yarn core-site.xml文件,但我不明白如何使用cloudera manager正确部署hdfs core-site.xml文件。

1 个答案:

答案 0 :(得分:0)

有一个MapReduce客户端环境安全阀,也称为' MapReduce服务高级配置代码段(安全阀),用于core-site.xml'在mapreduce的配置下的gui中找到 - > Service-Wide-> Advanced将允许您添加任何不适合其他地方的值。 (核心站点文件也有一个。)

话虽如此,详细信息可以在Cloudera的网站上找到:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_install.html