刚才我把一个90M文件写入hdfs,并在下面执行命令fsck。输出如下。
xuhang@master:~$ hadoop fsck /home/xuhang/hadoopinput/0501/baidu_hadoop.flv -files -blocks -locations
/home/xuhang/hadoopinput/0501/baidu_hadoop.flv 103737775字节,2个区块 .......................
0. blk_-7625024667897507616_12224 len=67108864 repl=2 [node1:50010, node2:50010]
1. blk_2225876293125688018_12224 len=36628911 repl=2 [node1:50010, node2:50010]
................. ................. FSCK在CST 2013年11月22日11:55:51以25毫秒结束
我已将hdfs-site.xml中的相同属性配置为两个数据节点,如下所示。
<name>dfs.name.dir</name>
<value>/home/xuhang/hadoop-1.2.1/name1,/home/xuhang/hadoop-1.2.1/name2</value>
但我在/home/xuhang/hadoop-1.2.1/name1
和/home/xuhang/hadoop-1.2.1/name2
中找不到两个数据节点。为什么?我确信我已成功将90M文件写入hdfs,因为我可以从hadoop命令或java客户端读取它。
答案 0 :(得分:0)
我看到这些块在主机node1和node2中。你一直在看node1和node2吗?
请同时检查node1和node2中的 hdfs-site.xml 。 dfs.data.dir
可能在这些节点中设置为不同的东西。您应该在名为 current 的目录中找到 blk _ 文件,该目录位于dfs.data.dir
指向的目录中。