什么时候会没有#map;"被需要?

时间:2012-08-01 21:38:31

标签: hadoop mapreduce

在某些用例中,我一直没有使用减速机工作,但我从来没有遇到过“没有映射器”的工作。 “No Mapper”意味着mapreduce框架仍会读取输入文件并以某种方式对它们进行混洗/排序(基于InputFormat?),那些将是我的reducer的输入?

3 个答案:

答案 0 :(得分:5)

“No mapper”是“身份映射器”的委婉说法。如果您没有指定默认映射器就是默认映射器。至少,身份映射器进程将未更改的输入定向到正确的reducer分区。

答案 1 :(得分:1)

对于某些基于输入键的聚合函数,身份映射器是有意义的。映射器将发出与其输入相同的i / o键,reducer将聚合特定键的值。

答案 2 :(得分:1)

如果您使用Hadoop Streaming:

-mapper "/bin/sh -c \"cat\""