计算地图缩减算法并行效率的公式是什么?

时间:2013-04-19 08:55:38

标签: algorithm hadoop parallel-processing mapreduce

是否有任何公式可以告诉我们地图缩减算法的并行效率? (换句话说,我如何在数学上证明MR算法A优于MR算法B)

我用谷歌搜索了但是我可以在wiki上找到并行算法的加速和效率的定义,但是如果有人能够证明这些公式如何应用于MR算法将会很好

1 个答案:

答案 0 :(得分:2)

查看Wiki for Bulk Synchronous Parallel in short BSP.

另一项复杂性计算包含在Rob Bisselings论文中

  并行科学计算:使用BSP和BSP的结构化方法   MPI

BSPMapReduce的抽象,包含链接底部的复杂性/成本分析公式。

因此,您需要做的是将MapReduce算法转换为BSP版本。屏障同步例如是MapReduce阶段之间的转换或新的MapReduce作业。消息(通信)是您在MapReduce函数中向文件系统发出的消息。