我使用本教程在Ubuntu 14.04中以伪分布式模式安装了cloudera hadoop(YARN):
http://www.cloudera.com/content/www/en-us/documentation/enterprise/5-3-x/topics/cdh_qs_yarn_pseudo.html但是当我启动服务时,我的datanode无法启动。我以前安装过Mvr1然后一切都很好,所以这个安装所需的先决条件没有任何问题。我使用sudo apt-get purge卸载了所有版本的hadoop,然后重新安装它但没有用。
Datanode日志条目是:
> 2015-11-14 09:54:34,292 INFO org。 apache.hadoop.ipc.Server:IPC服务器响应程序:启动
2015-11-14 09:54:35,363 INFO org.apache.hadoop.ipc.Client:重试连接到服务器:localhost / 127.0.0.1:8020。已经尝试了0次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:36,364 INFO org.apache.hadoop.ipc.Client:重试连接到服务器:localhost / 127.0.0.1:8020。已经尝试了1次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:37,365 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了2次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:38,365 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了3次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:39,366 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了4次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:40,366 INFO org.apache.hadoop.ipc.Client:重试连接到服务器:localhost / 127.0.0.1:8020。已经尝试了5次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:41,367 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了6次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:42,367 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了7次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:43,468 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了8次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:44,368 INFO org.apache.hadoop.ipc.Client:重试连接服务器:localhost / 127.0.0.1:8020。已经尝试了9次; >重试策略是RetryUpToMaximumCountWithFixedSleep(maxRetries = 10,sleepTime = 1000 MILLISECONDS) 2015-11-14 09:54:44,370 WARN org.apache.hadoop.hdfs.server.datanode.DataNode:连接服务器时出现问题:localhost / 127.0.0.1:8020 2015-11-14 09:54:49,792 INFO org.apache.hadoop.hdfs.server.common.Storage:锁定/var/lib/hadoop-hdfs/cache/hdfs/dfs/data/in_use.lock>获得作者:nodename 1088 @ monamie-VPCEG3AEN 2015-11-14 09:54:49,795 WARN org.apache.hadoop.hdfs.server.common.Storage:java.io.IOException:/ var / lib / hadoop-> hdfs / cache / hdfs / dfs中的不兼容的clusterID / data:namenode clusterID = CID-21fe9d61-d016-43e8-b5fb-1b43851c2ffa; datanode clusterID = CID-2f6844e6-c348-4a40-> ac2b-8ef08c674081 2015-11-14 09:54:49,796 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode:Block pool(Datanode> Uuid未分配)服务初始化失败,发生于localhost / 127.0.0.1:8020。退出。 java.io.IOException:无法加载所有指定的目录。 在org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:479) 在org.apache.hadoop.hdfs.server.datanode.DataNode.initStorage(DataNode.java:1398) 在org.apache.hadoop.hdfs.server.datanode.DataNode.initBlockPool(DataNode.java:1363) at org.apache.hadoop.hdfs.server.datanode.BPOfferService.verifyAndSetNamespaceInfo(BPOfferService.java:317) 在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.connectToNNAndHandshake(BPServiceActor.java:228) 在org.apache.hadoop.hdfs.server.datanode.BPServiceActor.run(BPServiceActor.java:847) 在java.lang.Thread.run(Thread.java:745) 2015-11-14 09:54:49,798 WARN org.apache.hadoop.hdfs.server.datanode.DataNode:结束块池服务:Block pool>>>(Datanode Uuid未分配)服务到localhost / 127.0。 0.1:8020 2015-11-14 09:54:49,904 INFO org.apache.hadoop.hdfs.server.datanode.DataNode:删除了阻塞池(Datanode Uuid未分配) 2015-11-14 09:54:51,904 WARN org.apache.hadoop.hdfs.server.datanode.DataNode:退出Datanode 2015-11-14 09:54:51,905 INFO org.apache.hadoop.util.ExitUtil:退出状态0
*********值得注意的是:>问题连接到服务器:localhost / 127.0.0.1:8020 ********
请帮我识别可能出错的地方。
Namenode日志条目:
> 2015-11-14 10:38:51,230 WARN org.apache.hadoop.security.UserGroupInformation:PriviledgedActionException as:hdfs(auth:SIMPLE)>原因:java.io.IOException:文件/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming-2.6.0-cdh5.4.8.jar。 COPYING 只能>复制到0个节点而不是minReplication(= 1)。正在运行0个数据节点,并且此操作中不排除任何节点。 2015-11-14 10:38:51,231 INFO org.apache.hadoop.ipc.Server:80820上的IPC服务器处理程序3,从127.0.0.1:45057调用> org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock拨打#5重试#0 java.io.IOException:文件/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming-2.6.0-cdh5.4.8.jar。 COPYING 只能复制到> 0节点而不是minReplication(= 1)。正在运行0个数据节点,并且此操作中不排除任何节点。 at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1541) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3289) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:668) at org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock>>>>>(AuthorizationProviderProxyClientProtocol.java:212) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock>(ClientNamenodeProtocolServerSideTranslatorPB.java:483) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod>(ClientNamenodeProtocolProtos.java) 在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619) 在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:1060) 在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:2044) 在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:2040) at java.security.AccessController.doPrivileged(Native Method) 在javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) 在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2038) 2015-11-14 10:38:51,320 WARN org.apache.hadoop.security.UserGroupInformation:PriviledgedActionException as:hdfs(auth:SIMPLE)> cause:java.io.IOException:File / user / oozie / share / lib / mapreduce-streaming / hadoop-streaming.jar。 COPYING 只能复制到0个节点>而不是minReplication(= 1)。正在运行0个数据节点,并且此操作中不排除任何节点。 2015-11-14 10:38:51,320 INFO org.apache.hadoop.ipc.Server:80820上的IPC服务器处理程序9,从127.0.0.1:45057调用> org.apache.hadoop.hdfs.protocol.ClientProtocol.addBlock拨打#12重试#0 java.io.IOException:文件/user/oozie/share/lib/mapreduce-streaming/hadoop-streaming.jar。 COPYING 只能复制到0个节点>而不是minReplication(= 1) 。正在运行0个数据节点,并且此操作中不排除任何节点。 at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1541) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3289) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:668) 在org.apache.hadoop.hdfs.server.namenode.AuthorizationProviderProxyClientProtocol.addBlock>(AuthorizationProviderProxyClientProtocol.java:212) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock>(ClientNamenodeProtocolServerSideTranslatorPB.java:483) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod>(ClientNamenodeProtocolProtos.java) 在org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:619) 在org.apache.hadoop.ipc.RPC $ Server.call(RPC.java:1060) 在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:2044) 在org.apache.hadoop.ipc.Server $ Handler $ 1.run(Server.java:2040) at java.security.AccessController.doPrivileged(Native Method) 在javax.security.auth.Subject.doAs(Subject.java:415) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1671) 在org.apache.hadoop.ipc.Server $ Handler.run(Server.java:2038)