Apache hadoop中节点之间的距离是什么意思?

时间:2018-05-21 17:35:14

标签: hadoop hdfs

我正在阅读Hadoop中的一篇采访问题:

您将如何获得Apache Hadoop中两个节点之间的距离?

有一个解决方案,但我真的不明白两个节点之间的术语距离。

这意味着什么?

2 个答案:

答案 0 :(得分:1)

Hadoop HDFS是一个分布式系统,更大的集群意味着更多的网络交换机。

当您正在读取文件时抛出HDFS,首先,您请求名称节点以获取有关文件块位置的信息。这些块分布在不同的机器上。

如果在某个时刻你从死机中检索数据的datanode,你可以从另一个副本获取这些数据,而不会打扰用户。您将从最近的机器获取数据。实际上,亲密的意义很难衡量。因为它取决于物理距离和不可预测的系统负载,例如度量过度使用。出于这个原因,它是在数据中心拓扑上。

这就是为什么知道Hadoop中节点之间的距离很重要

答案 1 :(得分:1)

这是一个很好的答案:https://qr.ae/pGRAyl

您可以在此处找到更多实施细节:https://hadoop.apache.org/docs/r2.10.0/hadoop-project-dist/hadoop-common/RackAwareness.html