应该在哪里进行计算密集型工作？ Hadoop MapReduce中的Mapper方法或Reducer方法

Question

我正在处理大型文本文件。 输入文本文件中的每条记录都是一行，我在这些记录中搜索某些关键字 我想知道在 Hadoop MapReduce 中工作时，以下哪种两种方法 更高效（时间复杂度）：

1. 在地图功能中搜索 Mapper
2. 在 Reducer
的 reduce 功能中搜索

请帮助！

Answer 1

两者都应该没问题，但是，根据你的输入我会在map函数中尝试它，因为：

只有找到关键字，才会将数据发送到组并减少阶段。如果与关键词匹配的数据较少，则组和缩减的开销会显着降低。