Normal MapReduce Job和Sequential MapReduce Job之间有什么区别和相似之处?

时间:2014-04-09 07:05:26

标签: java hadoop mapreduce sequential

当我们执行正常的wordcount作业时,我们使用MapReduce程序来执行此操作。它不是顺序的。但是对于像大型图的最短路径分析这样的程序,我们必须设计一个"顺序" MapReduce工作。这两种MapReduce编程方法之间的基本区别或相似之处是什么。

1 个答案:

答案 0 :(得分:0)

正如您所提到的,您的wordcount作业不是顺序的,我想您正在使用示例wordcount作业,其中键(单词)在地图阶段划分,处理(计数)在缩减阶段。因此,任务可以分成不同的节点并同时执行。

我建议你阅读本教程:https://developer.yahoo.com/hadoop/tutorial/module4.html 因此,您将能够意识到,根据可用节点的数量,即使在Map阶段,任务也会分发!

关于你的"顺序" MapReduce工作。我假设你的意思是没有办法划分处理以达到预期的效果。如果是这种情况,我怀疑您无法从Hadoop MapReduce框架获得最佳结果,因为您的减少阶段必须在单个节点中发生。但是,如果您进行快速搜索,我相信您将能够找到图形处理的算法,例如为MapReduce设计的Dijkstra。

干杯 马可