如何运行计算并计算远程Hadoop集群的计算过程?

时间:2012-04-16 15:47:02

标签: hadoop

我有一个java程序,我想从它发送任务(jar)到远程 Hadoop的。我需要将特殊参数传递给jar ofcourse 如果计算任务刚刚结束,java程序必须知道这一点。

我可以通过hadoop API来实现吗? 我在哪里可以获得文章或某些内容?

1 个答案:

答案 0 :(得分:0)

Hadoop有一些API用于此。因此,如果您为Hadoop作业编写Java代码,则可以定义作业特征,如:

job.SetMapperClass(), job.setReducerClass() job.setPartitionerClass() job.setInputPath() 等。

然后你运行你的工作,你可以等待工作完成

job.waitForCompletion(真)