为什么我在dfs.data.dir指定的路径中看不到块文件?

时间:2013-09-22 04:08:29

标签: hadoop hdfs

刚才我把一个90M文件写入hdfs,并在下面执行命令fsck。输出如下。

xuhang@master:~$ hadoop fsck /home/xuhang/hadoopinput/0501/baidu_hadoop.flv -files -blocks -locations

/home/xuhang/hadoopinput/0501/baidu_hadoop.flv 103737775字节,2个区块 .......................

0. blk_-7625024667897507616_12224 len=67108864 repl=2 [node1:50010, node2:50010]
1. blk_2225876293125688018_12224 len=36628911 repl=2 [node1:50010, node2:50010]

................. ................. FSCK在CST 2013年11月22日11:55:51以25毫秒结束

我已将hdfs-site.xml中的相同属性配置为两个数据节点,如下所示。

<name>dfs.name.dir</name>
<value>/home/xuhang/hadoop-1.2.1/name1,/home/xuhang/hadoop-1.2.1/name2</value>

但我在/home/xuhang/hadoop-1.2.1/name1/home/xuhang/hadoop-1.2.1/name2中找不到两个数据节点。为什么?我确信我已成功将90M文件写入hdfs,因为我可以从hadoop命令或java客户端读取它。

1 个答案:

答案 0 :(得分:0)

我看到这些块在主机node1和node2中。你一直在看node1和node2吗? 请同时检查node1和node2中的 hdfs-site.xml dfs.data.dir可能在这些节点中设置为不同的东西。您应该在名为 current 的目录中找到 blk _ 文件,该目录位于dfs.data.dir指向的目录中。