Question

我尝试过hadoop-1.0.3以及1.0.4。两者都在伪集群模式下。

我的理解是应该在“fs.checkpoint.dir”指定的辅助名称节点下创建previous.checkpoint目录？在任何情况下，我都在“dfs.name.dir”指定的namenode目录下找到它。这与Pseudo模式有关或者我的理解是错误的？有人可以帮忙！

以下是我的 hdfs-site.xml 文件。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/home/hadoop/lab/hdfs/namenode</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/home/hadoop/lab/hdfs/datanode</value>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>/home/hadoop/lab/hdfs/secnamenode</value>
    </property>
</configuration>

以下是守护进程的高级目录结构

hadoop@ubuntu:~/lab/hdfs$ ls -l
total 12
drwxr-xr-x 6 hadoop hadoop 4096 Mar 14 03:41 datanode
drwxrwxr-x 5 hadoop hadoop 4096 Mar 14 03:41 namenode
drwxrwxr-x 4 hadoop hadoop 4096 Mar 14 04:46 secnamenode

以下是NameNode目录详细信息

hadoop@ubuntu:~/lab/hdfs$ ls -l namenode
total 12
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:13 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:34 previous.checkpoint

以下是SNN目录详情

hadoop@ubuntu:~/lab/hdfs$ ls -l secnamenode
total 8
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 04:46 current
drwxrwxr-x 2 hadoop hadoop 4096 Mar 14 03:46 image
-rw-rw-r-- 1 hadoop hadoop    0 Mar 14 03:41 in_use.lock

如果您需要任何进一步的细节，请告诉我。

由于碎布

Answer 1

我对此进行了广泛而绝望的搜索。似乎有一个很长的待处理错误HDFS-1839，它会从 SecondaryNameNode 中删除 previous.checkpoint 目录。同样的错误可能导致在 NameNode 下创建此目录。

到目前为止，我已经看到了所有版本的hadoop，并且在 NameNode 下始终一直在创建 previous.checkpoint 目录。

希望很快就能修复这个错误，或者Apache Hadoop澄清为什么在NameNode

下创建目录

Hadoop previous.checkpoint位置

1 个答案: