Hadoop datanode块存储信息

Question

我想知道Datanode群集中特定Hadoop存储的块数。这些块属于哪个文件..我只有一个2-node集群。

Answer 1

由于您只有2个节点clsuter，所有块都将存储在那里。一般来说，我不这么认为你可以很容易地找到datanode上存在哪些块。这个

的方式是什么用例

Answer 2

将Web浏览器指向NameNode_Machine:50070，转到HDFS webUI。转到Cluster Summary，然后点击Live Datanodes。它将显示当前表中可用的所有DataNode，其最后一列将显示块数。

要找到文件及其块之间的关系，您可以在webUI中打开该文件并向下滚动。它会显示该文件的所有块以及每个块的位置。

Answer 3

您可以使用带有参数hadoop fsck的{​​{1}}命令来了解每个块的位置。

-locations

Here是参考页面，搜索fsck以获取更多信息。