使用CDH4 / hadoop-2.0.0我遇到一个问题,管道程序在尝试获取任务的分区时出错:
Hadoop Pipes Exception: Key mapreduce.task.partition not found in JobConf
这对0.21工作得很好,我想知道如何用2.0.0实现相同的结果。任何帮助将不胜感激。
PS:我尝试用hadoop pipes来尝试调试它。但那里也碰到了一堵墙。 叹息
答案 0 :(得分:0)
除了YARN附件外,CDH4还包含hadoop-0.20,它使用密钥mapred.task.partition
代替mapreduce.task.partition
(来自0.21)。将它改回前者修复了我的问题。