在Hadoop中为自己洗牌

时间:2014-03-04 18:05:15

标签: hadoop

是否是这样的情况,在混洗过程中,主机A的中间(映射)输出发往主机B,如果是A!= B,则通过网络发送?这种行为是依赖于Hadoop本身,还是基于底层操作系统的TCP / IP实现或其他方式免费提供?

1 个答案:

答案 0 :(得分:0)

映射输出文件的分区通过HTTP可用于reducer。 如果A和B相同或不同,则不应有任何区别。