我正在尝试使用cloudera管理器(CDH5b2)为我的配置文件添加lzo支持。
如果我将io.compression.codecs
添加到服务范围的hdfs配置,并部署配置文件,/etc/hadoop/conf.cloudera.hdfs/core-site.xml
现在包含新值。
但是,/etc/hadoop/conf.cloudera.yarn/core-site.xml
具有更高的优先级(update-alternatives --display hadoop-conf
),当我启动MR作业时,不会使用hdfs core-site.xml值。
显然,我可以手动修改yarn core-site.xml
文件,但我不明白如何使用cloudera manager正确部署hdfs core-site.xml
文件。
答案 0 :(得分:0)
有一个MapReduce客户端环境安全阀,也称为' MapReduce服务高级配置代码段(安全阀),用于core-site.xml'在mapreduce的配置下的gui中找到 - > Service-Wide-> Advanced将允许您添加任何不适合其他地方的值。 (核心站点文件也有一个。)
话虽如此,详细信息可以在Cloudera的网站上找到:http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_ig_cdh5_install.html