运行Oozie来控制多个集群

时间:2013-10-20 23:50:47

标签: hadoop apache-pig oozie

我正在尝试安装一个可以将作业提交给多个Hadoop集群的Oozie服务器。我没有遇到任何此类部署,但我认为没有理由不能这样做。但到目前为止我还没有成功做到这一点。

这就是我在做的事情: 我在一台机器(OZ-1)上安装了Oozie和其他Hadoop组件。我的笔记本电脑上有一个Oozie客户端(OZ-Client-1)。现在我想将一个Pig作业提交给Hadoop集群(HD-1)。

  1. 我创建了一个workflow.xml文件并将其放在OZ-1的HDFS中
  2. 我在OZ-Client-1上创建了job.properties,它定义了以下属性:

    nameNode=hdfs:HD-1:PORT

    jobTracker=HD-1:PORT

    queueName=default

    examplesRoot=examples

    oozie.use.system.libpath=true

    oozie.wf.application.path=OZ-1/path/to/workflow.xml

  3. 我将要运行的Pig脚本复制到OZ-1的HDFS。

  4. 现在,我从客户端提交Oozie作业,OZ-Client-1
  5. 输入数据已存在于Hadoop群集中:HD-1
  6. 我跟随的步骤有什么不对吗?这不起作用,我在Oozie客户端上获得以下日志:

    Actions
    ------------------------------------------------------------------------------------------------------------------------------------
    ID                                                                            Status    Ext ID                 Ext Status Err Code  
    ------------------------------------------------------------------------------------------------------------------------------------
    0000001-131020152954824-oozie-shar-W@:start:                                  OK        -                      OK         -         
    ------------------------------------------------------------------------------------------------------------------------------------
    0000001-131020152954824-oozie-shar-W@pig-node                                 START_RETRY-                      -          JA009     
    ------------------------------------------------------------------------------------------------------------------------------------
    

0 个答案:

没有答案