我正在阅读Hadoop中的一篇采访问题:
您将如何获得Apache Hadoop中两个节点之间的距离?
有一个解决方案,但我真的不明白两个节点之间的术语距离。
这意味着什么?
答案 0 :(得分:1)
Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。
当您正在读取文件时抛出HDFS,首先,您请求名称节点以获取有关文件块位置的信息。这些块分布在不同的机器上。
如果在某个时刻你从死机中检索数据的datanode,你可以从另一个副本获取这些数据,而不会打扰用户。您将从最近的机器获取数据。实际上,亲密的意义很难衡量。因为它取决于物理距离和不可预测的系统负载,例如度量过度使用。出于这个原因,它是在数据中心拓扑上。
这就是为什么知道Hadoop中节点之间的距离很重要
答案 1 :(得分:1)