Question

我们知道，Hadoop在hdfs中的多个数据节点之间复制数据，是否有用于检查不同节点上的分布式数据的命令。

Answer 1

您可以使用hadoop中提供的Web界面选项。使用它，您将能够看到有关hdfs的每个信息，存在的节点数，死/活的数量，存储使用情况等等。希望它有所帮助

Answer 2

您可以使用localhost：50070 /来检查名称节点的运行状况。使用它可以浏览hadoop文件系统。

您还可以做其他一些事情 localhost：50030 - JobTrack localhost：50060 - TaskTracker

Answer 3

我想你可能正在寻找这个命令

hdfs fsck /hdfs/path/to/data -files -blocks -locations

您将收到如下报告。它报告所有块的列表，它们的复制因子以及块所在的主机集。

/hdfs/path/to/data/file.txt 4771082824 bytes, 36 block(s):  OK
0. BP-22525430-10.14.103.78-1355873316066:blk_-3400885615428218530_203522 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
1. BP-22525430-10.14.103.78-1355873316066:blk_124203196739652236_203523 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
2. BP-22525430-10.14.103.78-1355873316066:blk_5886188080028552249_203524 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
3. BP-22525430-10.14.103.78-1355873316066:blk_-3222807870390148132_203525 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
4. BP-22525430-10.14.103.78-1355873316066:blk_-1285830390698132620_203526 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
5. BP-22525430-10.14.103.78-1355873316066:blk_-2680874809037637827_203527 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
6. BP-22525430-10.14.103.78-1355873316066:blk_8699277646297360652_203528 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
7. BP-22525430-10.14.103.78-1355873316066:blk_-2195916588803548138_203529 len=134217728 repl=3 [10.14.103.213:50010, 10.14.102.190:50010, 10.14.102.176:50010]
[more]

如何通过hdfs检查分布式数据

3 个答案: