在Hadoop中以reducer级别复制？

Question

当reducer尝试从临时文件夹中复制时，是否会发生中间数据的复制（由Mapper发出）？

Answer 1

不，映射器发出的数据将位于映射器机器的本地磁盘上。 reducer通过网络复制它。如果映射器节点在复制期间或复制开始之前关闭，则会在其他节点上生成新的映射器任务。