在CDH4中获取mapreduce.task.partition

时间:2013-07-12 22:13:36

标签: c++ hadoop

使用CDH4 / hadoop-2.0.0我遇到一个问题,管道程序在尝试获取任务的分区时出错:

Hadoop Pipes Exception: Key mapreduce.task.partition not found in JobConf

这对0.21工作得很好,我想知道如何用2.0.0实现相同的结果。任何帮助将不胜感激。

PS:我尝试用hadoop pipes来尝试调试它。但那里也碰到了一堵墙。 叹息

1 个答案:

答案 0 :(得分:0)

除了YARN附件外,CDH4还包含hadoop-0.20,它使用密钥mapred.task.partition代替mapreduce.task.partition(来自0.21)。将它改回前者修复了我的问题。