Question

我使用hadoop-2.7.2和oozie-4.0.1，应该是oozie工作流的job.properties文件中的jobTracker值。我引用了这个链接;

http://hadooptutorial.info/apache-oozie-installation-on-ubuntu-14-04/

指出，在YARN架构中，作业跟踪器在8032端口上运行，我目前正在使用它。但是在hadoop的mapred-site.xml中，我的值为hdfs：// localhost：54311，用于作业跟踪器属性。

我很困惑，任何人都可以向我解释或提供一些有用的链接，用于在oozie上安装oozie和运行作业。

目前，我无法在oozie上运行工作流作业，它长时间处于运行状态，然后因连接错误而暂停。 Job DAG也没有生成，它会抛出一些UI异常。

请有人帮助我。

Answer 1

在属性文件中，只需传递您在yarn-site.xml中配置的Resorucemanager地址，或直接解析workflow.xml文件中的resourcemanager地址

        <job-tracker>localhost:8032</job-tracker>

在运行属性文件时，您需要指定oozie服务器将在哪个主机上运行，我认为在那部分您没有遇到任何问题。然后粘贴错误消息并更新问题。

<强>编辑：配置需要在yarn-site.xml中

    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
    <description>NM Webapp address.</description>
    <name>yarn.nodemanager.webapp.address</name>
    <value>${yarn.nodemanager.hostname}:8042</value>
  </property>
  <property>
    <description>hostname </description>
    <name>yarn.nodemanager.hostname</name>
    <value>localhost</value>
  </property>

您可以为Pesudo节点群集指定hostname或localhost。对于HA集群需要以下

https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html

Answer 2

在生产环境中，您可能已配置高可用性纱线群集。在这种情况下，job.properties中的oozie作业跟踪器配置应该是yarn.resourcemanager.cluster-id的配置值。

我的纱线配置：

 <property>
                <name>yarn.resourcemanager.ha.enabled</name>
                <value>true</value>
        </property>
        <property>
                <name>yarn.resourcemanager.cluster-id</name>
                <value>datayarn</value>
        </property>
        <property>
                <name>yarn.resourcemanager.ha.rm-ids</name>
                <value>resourcemanager1,resourcemanager2</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.resourcemanager1</name>
                <value>11.11.11.11</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname.resourcemanager2</name>
                <value>11.11.11.12</value>
        </property>

因此，jobTracker值应为： datayarn

oozie的job.properties中的jobTracker属性

2 个答案: