Hadoop旧API已经被弃用了一段时间了,关于新的API没有太多信息(我不是在谈论YARN,而是关于http://hadoopbeforestarting.blogspot.com/2012/12/difference-between-hadoop-old-api-and.html)。我搜索了几天我怎么能默认启用它?到目前为止,我看到的解决方案只是在oozie workflow.xml
中设置配置,或在自己的mapreduce中设置JobConf.setUseNewMapper(true)
和JobConf.setUseNewReducer(true)
。所以我的问题是:我如何默认启用它,所以每个作业都会使用它?我的意思是Hive,HBase等生成的工作。我尝试在mapred.mapper.new-api
中将mapred.mapper.new-api
和mapred-site.xml
设置为true,但它不起作用。
此外,我发现已弃用的设置:http://archive.cloudera.com/cdh4/cdh/4/hadoop/hadoop-project-dist/hadoop-common/DeprecatedProperties.html。我认为新属性仅适用于新的api,因为在mapreduce.tasktracker.map.tasks.maximum
中将mapreduce.tasktracker.reduce.tasks.maximum
和mapred-site.xml
设置为默认值之外,我仍然会获得默认值(2)。如果我设置了已弃用的属性 - mapred.tasktracker.map.tasks.maximum
和mapred.tasktracker.reduce.tasks.maximum
,它就像魅力一样。