过去几天我面临一个问题, 如果我使用Hadoop 2.7.4,我无法在此版本的奴隶处启动nodemanager,因此我无法运行任何mapred作业。
当我使用Hadoop 2.8.2时,一切正常(start-dfs.sh和start-yarn.sh),我能够在http://:50070看到内容,节点活动,但在运行时我使用HDFS数据的程序,它一直在显示
17/11/15 12:51:46 WARN hdfs.DFSClient:零
但工作进展顺利。我不知道这个问题及其影响。所以,我尝试了2.7.3
当我尝试2.7.3时,我没有遇到上述错误,但我发现纱线没有开始完成,当我开始纱线时,它会以通常的方式在屏幕上抛出更多的线并开始。主要问题,在这种情况下,我无法观看来自web url的hadoop观看,因为它不会在网络上显示任何内容,除了HDFS中存在的那些文件(所以,我只能看到来自Utilities的数据 - >浏览文件)
错误与此类似:
启动纱线守护进程
启动资源管理器,登录到 /usr/local/hadoop/logs/yarn--resourcemanager-hadoop-master.out
2017年11月20日上午8:01:28 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory 注册
信息:注册 org.apache.hadoop.yarn.server.resourcemanager.webapp.JAXBContextResolver 作为提供者类
2017年11月20日上午8:01:28 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory 注册
信息:注册 org.apache.hadoop.yarn.server.resourcemanager.webapp.RMWebServices as 根资源类
2017年11月20日上午8:01:28 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory 注册
信息:注册 org.apache.hadoop.yarn.webapp.GenericExceptionHandler作为提供者 类
2017年11月20日上午8:01:28 com.sun.jersey.server.impl.application.WebApplicationImpl _initiate
信息:发起泽西岛申请,版本'泽西岛:1.9 09/02/2011 上午11:17'
2017年11月20日上午8:01:28 com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory getComponentProvider
信息:绑定 org.apache.hadoop.yarn.server.resourcemanager.webapp.JAXBContextResolver 使用范围" Singleton"
的GuiceManagedComponentProviderhadoop-slave1:警告:永久添加' hadoop-slave1,10.40.0.0' (ECDSA)到已知主机列表。
hadoop-slave1:启动nodemanager,登录到 /usr/local/hadoop/logs/yarn-root-nodemanager-hadoop-slave1.weave.local.out
知道如何在没有任何问题的情况下完全设置它吗?