是否有任何公式可以告诉我们地图缩减算法的并行效率? (换句话说,我如何在数学上证明MR算法A优于MR算法B)
我用谷歌搜索了但是我可以在wiki上找到并行算法的加速和效率的定义,但是如果有人能够证明这些公式如何应用于MR算法将会很好
答案 0 :(得分:2)
查看Wiki for Bulk Synchronous Parallel
in short BSP
.
另一项复杂性计算包含在Rob Bisselings论文中
并行科学计算:使用BSP和BSP的结构化方法 MPI
BSP
是MapReduce
的抽象,包含链接底部的复杂性/成本分析公式。
因此,您需要做的是将MapReduce
算法转换为BSP
版本。屏障同步例如是Map
和Reduce
阶段之间的转换或新的MapReduce
作业。消息(通信)是您在Map
和Reduce
函数中向文件系统发出的消息。