hadoop中需要迭代的一个很好的例子

时间:2011-07-17 03:12:59

标签: hadoop mapreduce

我目前正在hadoop上实现parallel-for,以便按照用户指定的次数迭代映射器。有人可以帮助我一个有用的例子,我可以使用我的实现进行测试。 Hadoop中的一些应用程序需要迭代Mapper函数。 谢谢

3 个答案:

答案 0 :(得分:2)

最简单的算法是实现Apriori算法,该算法用于查找频繁项目集。

答案 1 :(得分:1)

你对映射器的迭代"是什么意思?#34;?我有一个递归启动作业的例子(在最后一个作业的输入上)。

看看这里,它解释了一个简单的图形思维 - 搜索/图形探索算法:http://codingwiththomas.blogspot.com/2011/04/graph-exploration-with-hadoop-mapreduce.html

这里有一个更通用的版本: http://codingwiththomas.blogspot.com/2011/04/controlling-hadoop-job-recursion.html

答案 2 :(得分:0)

数据挖掘中有很多例子。例如,您可以尝试其中一种聚类算法。