当YARN正在运行时,提交的hadoop作业会陷入接受状态

时间:2017-05-17 04:47:44

标签: apache hadoop yarn resourcemanager namenode

我正在使用VirualBox在Windows笔记本电脑上运行Ubuntu 14 VM。我为单节点配置了Apache分发HDFS和YARN。当我运行dfs和YARN时,所有必需的恶魔都在运行。当我没有配置YARN并且只运行DFS然后我可以成功执行MapReduce作业时,但是当我运行YARN然后工作卡在ACCEPTED状态时,我尝试了许多关于更改节点的内存设置但没有运气的设置。 我按照以下链接设置单个节点 https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-common/SingleCluster.html

芯-site.xml中

`
    <configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://localhost:9000</value>
        </property>
    </configuration>`

hdfs-site.xm的设置 l`

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
    <name>dfs.name.dir</name>
    <value>/home/shaileshraj/hadoop/name/data</value>
    </property>
</configuration>`

mapred-site.xml的设置

`<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>`

yarn-site.xml的设置`

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
    </property>
    <property>
      <name>yarn.nodemanager.resource.memory-mb</name>
      <value>2200</value>
      <description>Amount of physical memory, in MB, that can be allocated for containers.</description>
    </property>

    <property>
      <name>yarn.scheduler.minimum-allocation-mb</name>
      <value>500</value>
    </property>

RM网络用户界面RM Web UI

这是RM Web UI的Application Master屏幕。我可以看到AM容器未分配,可能是问题AM Web UI

1 个答案:

答案 0 :(得分:0)

如果作业没有获得足够数量的资源,它将处于ACCEPTED状态。只要它获得资源,它就会变为RUNNING状态。

在您的情况下,请打开Resource Manager WebUI并检查有多少资源可用于运行作业。