没有映射器的MapReduce作业

Question

这可能是一个非常基本的问题，但对我这样的许多新手来说仍然有帮助。

没有映射器可以有MR工作吗？我们需要实现这个以及实现此目的的任何方案吗？

Answer 1

IdentityMapper是一个将输入直接映射到输出的映射器。

假设您的输入格式为键值，并且您在mapper阶段没有任何关系，您唯一想做的就是根据键对值进行分组，并在值的reducer阶段进行一些聚合操作，可以使用此映射器。

Answer 2

如果MapReduce程序员没有使用JobConf.setMapperClass设置Mapper类，那么IdentityMapper.class将用作默认值。

如果您没有提及映射器，那么将会有一个mapper运行。所以在任何情况下都会运行至少一个映射器。

http://www.fromdev.com/2010/12/interview-questions-hadoop-mapreduce.html

Answer 3

我看过没有Mapper的MR工作，只减少部分。你的要求很特别。

在我看来，我认为没有mapper的MR工作没有意义。