Question

我已经在亚马逊云（1台服务器）上成功在ubuntu 12 LTS服务器上安装了CDH4。我使用Cloudera Manager免费版安装软件并且没有错误）。

我有一个程序，它使用java API将文件从家用计算机加载到云端的HDFS。我想知道为什么这个程序失败以及如何解决它。

Configuration conf = new Configuration();       
conf.set("fs.defaultFS", "hdfs://node01:8020");
FileSystem fs = FileSystem.get(conf);       
Path targetPath = new Path("/users/<username>/myfile.txt");
Path sourcePath = new Path("/home/<username>/myfile.txt");
fs.copyFromLocalFile(false,true,sourcePath,targetPath);

我收到以下错误（namenode日志）：

org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/<username>/myfile.txt could only be replicated to 0 nodes instead of minReplication (=1).  There are 1 datanode(s) running and 1 node(s) are excluded in this operation.
    at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget(BlockManager.java:1322)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2170)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:471)
    at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:297)
    at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:44080)
    at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:453)
    at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:898)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1693)
    at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:1689)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1332)
    at org.apache.hadoop.ipc.Server$Handler.run(Server.java:1687)

然后我将我的代码上传到云端并在本地运行代码（将文件从本地fs上传到hdfs）没有任何错误。它只发生在我从我的个人计算机上运行代码时才发生......

当我在我的云服务器上使用cli'hedoop fs -put'命令时，写入hdfs时没有错误。我也可以使用Hue上传文件。我做了一些阅读，发现当没有足够的磁盘空间时会出现这个问题，但我有足够的dfs和非dfs（参见下面的报告）。我可以使用家用计算机上的java API成功读取hadoop文件系统，甚至可以使用API从HBase连接和读/写。所有端口都在此服务器上对我的IP开放。已检查文件权限。程序失败后，我看到我试图在hdfs中上传的文件，但内容是空白的（类似于这篇文章：https://groups.google.com/a/cloudera.org/forum/?fromgroups=#!topic/cdh-user/XWA-3H0ekYY）

这是hdfs dfsadmin -report

的输出

Configured Capacity: 95120474112 (88.59 GB)
Present Capacity: 95120474112 (88.59 GB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used: 81465344 (77.69 MB)
DFS Used%: 0.09%
Under replicated blocks: 177
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 1 (1 total, 0 dead)

Live datanodes:
Name: privateip:port (node01)
Hostname: node01
Rack: /default
Decommission Status : Normal
Configured Capacity: 95120474112 (88.59 GB)
DFS Used: 81465344 (77.69 MB)
Non DFS Used: 0 (0 KB)
DFS Remaining: 95039008768 (88.51 GB)
DFS Used%: 0.09%
DFS Remaining%: 99.91%
Last contact: Sun Jan 27 03:01:53 UTC 2013

Answer 1

我已经解决了这个问题 -

我从家用机器连接到hadoop而不是在hadoop本地网络上。显然，当你这样做时，namenode告诉我的家用机器使用datanode的私有IP写入datanode。不在同一个网络上，我的家用机器无法连接到datanode创建此错误。

我通过创建从家庭网络到hadoop网络的VPN连接解决了这个问题，现在一切正常。

copyFromLocalFile在CDH4中不起作用

1 个答案: