链接mapreduce工作在不同的类中实现

时间:2013-10-29 17:27:19

标签: java mapreduce chaining

我是一个hadoop初学者。我正在尝试编写涉及以下链的Java MapReduce应用程序:

Algo1 - > Algo2 - > Algo3。

Algo1.java是聚类算法的mapreduce实现。 map函数将一组点作为输入,reduce函数输出一组簇。

Algo2.java是k样条算法的mapreduce实现。 map函数接受Algo1.java输出的簇,reduce函数输出样条线。

Algo3.java是采样算法的mapreduce实现,它将Algo2输出的样条线作为输入并生成最终输出。

我有一个主文件(Main.java),它一个接一个地创建3个作业配置。 jobConf1调用Algo1。然后jobConf2调用Algo2然后jobConf3调用Algo3。但是,当jobConf1调用Algo1时,mapreduce会返回一个错误,指出它无法找到路径。所有4个java文件都在同一个文件夹中。

有人可以告诉我应该传递给作业配置的类文件的名称是什么吗?我应该在jobConf1中使用“Main.class”而不是“Algo1.class”吗?

感谢您的帮助。

0 个答案:

没有答案