Question

我有附加到我创建的文件的问题。我手动上传到HDFS的文件没有这样的问题。文件上传和创建之间有什么区别？

要附加并创建我使用下面的代码

import java.io.IOException;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
public class Test {
    public static final String hdfs = "hdfs://192.168.15.62:8020";
    public static final String hpath = "/user/horton/wko/test.log";
    public static void main(String[] args) throws IOException {
            Configuration conf = new Configuration();
            conf.set("fs.defaultFS", hdfs);
            conf.set("hadoop.job.ugi", "hdfs");
            FileSystem fs = FileSystem.get(conf);
            Path filenamePath = new Path(hpath);
            //FSDataOutputStream out = fs.create(filenamePath);
            FSDataOutputStream out = fs.append(filenamePath);
            out.writeUTF("TEST\n");
            out.close();
        }
}

我在附加的情况下得到了这样的例外：

Exception in thread "main" java.io.IOException: Failed to replace a bad datanode on   the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[192.168.15.62:50010], original=[192.168.15.62:50010]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.

Answer 1

我遇到类似的问题，修复了添加conf.set("dfs.replication", "1")的问题。

在我的情况下，我在群集中只有一个节点，即使在dfs.replication中1设置为hdfs-site.xml，它仍然使用默认值{{1} }。

请注意，Hadoop会在第一个节点写入后立即尝试复制文件的块，并且由于复制的默认值为3，因此如果只是你的话，它将无法访问其他节点有一个节点集群。

如何在HDFS上附加到创建的文件

1 个答案: