使用hadoop流时让-mapred.reduce.tasks大于1时得到错误的结果

时间:2019-05-20 02:23:34

标签: hadoop mapreduce bigdata hadoop-streaming

我真的需要你的帮助。

我正在开始一个hadoop流式地图减少项目,当我在笔记本电脑上通过“ cat | map | sort | reduce”测试代码时,我获得了不错的结果。当让-mapred.reduce.tasks = 1时,我也可以得到想要的东西,但是当让-mapred.reduce.tasks大于1时,我得到了错误的结果。

正确的结果是:

...
7823 0.0619 
7825 0.6695
9057 0.9281
...

错误的结果是

...
7823 0.0
7825 0.0
9057 1.0
...

谢谢

0 个答案:

没有答案