我的理解:
数据局部性的概念仅适用于Mapper,因为它处理输入文件。
Reducers还会在处理时使用数据位置概念吗?
数据位置:
数据位置是指通过将计算带入数据来处理其所在的数据,而不是从其位置请求数据。
在计算数据时,Mappers和Reducers会工作。
Mappers在计算数据时使用数据位置。
Reducers将输入作为Mappers输出。
假设Mappers输出(中间数据)存储在不同的数据节点中。
Reducers在计算时是否使用数据位置?
答案 0 :(得分:0)
不,数据位置概念仅适用于MAPPERS。
根据分区逻辑(在MAP输出的唯一键上)分配减速器