如何在HDFS中查找文件的不同片段

Question

有没有办法找出我放入Hdfs的文件碎片在哪里？我的意思是关于文件片段存储在hdfs中的位置的信息？

Answer 1

您可以使用fsck命令：

#> hadoop fsck /path/to/file -files -blocks -locations -racks

列出文件，块及其相关元数据：

• 阻止名称/ ID
• 块长度
• 阻止复制
• locations（datanodeIp：port）
• rack（前缀datanode ip与相关的机架ID）

例如：

/user/chris/file1.txt 123 bytes, 1 block(s): OK
0. blk_432678432632_3426532 len=123 repl=2 [/rack1/1.2.3.4:50010, /rack2/4.5.6.7:50010]