HDFS纱线节点管理器无法完全启动

时间:2017-11-18 09:31:57

标签: hadoop hdfs yarn

过去几天我面临一个问题, 如果我使用Hadoop 2.7.4,我无法在此版本的奴隶处启动nodemanager,因此我无法运行任何mapred作业。

当我使用Hadoop 2.8.2时,一切正常(start-dfs.sh和start-yarn.sh),我能够在http://:50070看到内容,节点活动,但在运行时我使用HDFS数据的程序,它一直在显示

  

17/11/15 12:51:46 WARN hdfs.DFSClient:零

但工作进展顺利。我不知道这个问题及其影响。所以,我尝试了2.7.3

当我尝试2.7.3时,我没有遇到上述错误,但我发现纱线没有开始完成,当我开始纱线时,它会以通常的方式在屏幕上抛出更多的线并开始。主要问题,在这种情况下,我无法观看来自web url的hadoop观看,因为它不会在网络上显示任何内容,除了HDFS中存在的那些文件(所以,我只能看到来自Utilities的数据 - >浏览文件)

错误与此类似:

  

启动纱线守护进程

     

启动资源管理器,登录到   /usr/local/hadoop/logs/yarn--resourcemanager-hadoop-master.out

     

2017年11月20日上午8:01:28   com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory   注册

     

信息:注册   org.apache.hadoop.yarn.server.resourcemanager.webapp.JAXBContextResolver   作为提供者类

     

2017年11月20日上午8:01:28   com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory   注册

     

信息:注册   org.apache.hadoop.yarn.server.resourcemanager.webapp.RMWebServices as   根资源类

     

2017年11月20日上午8:01:28   com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory   注册

     

信息:注册   org.apache.hadoop.yarn.webapp.GenericExceptionHandler作为提供者   类

     

2017年11月20日上午8:01:28   com.sun.jersey.server.impl.application.WebApplicationImpl _initiate

     

信息:发起泽西岛申请,版本'泽西岛:1.9 09/02/2011   上午11:17'

     

2017年11月20日上午8:01:28   com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory   getComponentProvider

     

信息:绑定   org.apache.hadoop.yarn.server.resourcemanager.webapp.JAXBContextResolver   使用范围" Singleton"

的GuiceManagedComponentProvider      

hadoop-slave1:警告:永久添加' hadoop-slave1,10.40.0.0'   (ECDSA)到已知主机列表。

     

hadoop-slave1:启动nodemanager,登录到   /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop-slave1.weave.local.out

知道如何在没有任何问题的情况下完全设置它吗?

0 个答案:

没有答案