默认情况下启用Hadoop NEW API

时间:2013-10-02 08:26:15

标签: hadoop mapreduce bigdata

Hadoop旧API已经被弃用了一段时间了,关于新的API没有太多信息(我不是在谈论YARN,而是关于http://hadoopbeforestarting.blogspot.com/2012/12/difference-between-hadoop-old-api-and.html)。我搜索了几天我怎么能默认启用它?到目前为止,我看到的解决方案只是在oozie workflow.xml中设置配置,或在自己的mapreduce中设置JobConf.setUseNewMapper(true)JobConf.setUseNewReducer(true)。所以我的问题是:我如何默认启用它,所以每个作业都会使用它?我的意思是Hive,HBase等生成的工作。我尝试在mapred.mapper.new-api中将mapred.mapper.new-apimapred-site.xml设置为true,但它不起作用。

此外,我发现已弃用的设置:http://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-project-dist/hadoop-common/DeprecatedProperties.html。我认为新属性仅适用于新的api,因为在mapreduce.tasktracker.map.tasks.maximum中将mapreduce.tasktracker.reduce.tasks.maximummapred-site.xml设置为默认值之外,我仍然会获得默认值(2)。如果我设置了已弃用的属性 - mapred.tasktracker.map.tasks.maximummapred.tasktracker.reduce.tasks.maximum,它就像魅力一样。

0 个答案:

没有答案