在具有映射器任务的节点上或在具有reducer task / s的节点上,哪个节点进行了混洗和排序?

时间:2016-03-12 14:30:14

标签: hadoop mapreduce hdfs

我的查询是每个映射器任务输出(不合并)是否发生了混洗和排序,还是在将节点上的所有映射器任务输出与reducer合并之后发生。什么是混乱。我已经看到了不同的definiitons。在某些视频甚至是“定义指南”一书中,改组意味着将对具有相同的键值组合。但在某些博客上,它是将mapper o / ps转移到reducer的过程。它们中的哪一个是正确的?

0 个答案:

没有答案