Question

我使用组合器运行WordCount的示例。这是运行结果：

13/10/07 22:32:38 INFO mapred.JobClient:     Map input records=20111076
13/10/07 22:32:38 INFO mapred.JobClient:     Reduce shuffle bytes=467280
13/10/07 22:32:38 INFO mapred.JobClient:     Spilled Records=541137
13/10/07 22:32:38 INFO mapred.JobClient:     Map output bytes=632287974
13/10/07 22:32:38 INFO mapred.JobClient:     Total committed heap usage (bytes)=4605870080
13/10/07 22:32:38 INFO mapred.JobClient:     Combine input records=62004735
13/10/07 22:32:38 INFO mapred.JobClient:     SPLIT_RAW_BYTES=2280
13/10/07 22:32:38 INFO mapred.JobClient:     Reduce input records=32020
13/10/07 22:32:38 INFO mapred.JobClient:     Reduce input groups=1601
13/10/07 22:32:38 INFO mapred.JobClient:     Combine output records=414658
13/10/07 22:32:38 INFO mapred.JobClient:     Reduce output records=1601
13/10/07 22:32:38 INFO mapred.JobClient:     Map output records=61622097

我有两个问题，为什么map_output_records小于combine_input_records？为什么reduce_input_records远小于combine_output_records？我知道可能会多次调用组合器，但combine_output_records的数字不应该是最后一次调用的结果吗？为什么它不等于Reducer消耗的记录数？

感谢您的帮助！

Answer 1

组合器并不总是被调用，你实际上无法控制它是否被调用（或多少次），这是由框架决定的。这可能解释了数字。看来合并器做得很好：

Map output records=61622097    ->  Reduce input records=32020

为什么在Hadoop中reduce_input_records少于combine_output_records？

1 个答案: