在某些用例中,我一直没有使用减速机工作,但我从来没有遇到过“没有映射器”的工作。 “No Mapper”意味着mapreduce框架仍会读取输入文件并以某种方式对它们进行混洗/排序(基于InputFormat?),那些将是我的reducer的输入?
答案 0 :(得分:5)
“No mapper”是“身份映射器”的委婉说法。如果您没有指定默认映射器就是默认映射器。至少,身份映射器进程将未更改的输入定向到正确的reducer分区。
答案 1 :(得分:1)
对于某些基于输入键的聚合函数,身份映射器是有意义的。映射器将发出与其输入相同的i / o键,reducer将聚合特定键的值。
答案 2 :(得分:1)
如果您使用Hadoop Streaming:
-mapper "/bin/sh -c \"cat\""