Hadoop shuffle使用哪种协议？

Question

在Hadoop数据的随机播放阶段，映射数据在集群的节点之间传输 根据减速机的分区。 Hadoop使用什么协议在节点之间为reduce阶段执行数据混乱？

Answer 1

我第一次真的笑了，但整个混乱和合并是由HTTPServlet完成的。

您可以在匿名类Tasktrackers的{​​{1}}源代码中看到这一点。它获取带有任务和作业ID的HTTP请求，然后它将传入的输入流传输到本地磁盘上的文件系统。