并行执行mapreduce作业

时间:2013-10-10 10:12:46

标签: hadoop mapreduce job-control

我有一个问题。我可以与JobCntrol同时在hadoop中执行两个或更多个作业吗? 我有2个可以并行执行的作业,而其他作业对这两个作业有依赖关系?我怎么能用JobControl做到这一点? 当我使用它时,它会给出错误:     java.lang.IllegalStateException:作业状态为RUNNING而不是DEFINE

1 个答案:

答案 0 :(得分:1)

当您想要并行执行作业时,不需要JobControl。只需使用JobClient.runJob() API提交作业即可。当存在简单的DAG作业时,使用JobControl。