Hadoop机架感知配置

Question

我正在使用Hadoop，我需要配置机架感知。任何人都可以给我一个关于它是如何工作的想法或教程吗？

我正在使用Hadoop 1.2.1。

Answer 1

由于您要求提供教程和指导，这里有一些链接足以了解如何设置机架感知：

1. http://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.3.0/bk_hdfs_admin_tools/content/ch05.html
2. https://bigdataprocessing.wordpress.com/2013/07/30/hadoop-rack-awareness-and-configuration/

希望这有帮助。

Answer 2

在Hadoop环境中，机架拓扑定义了机器在物理上位于数据中心机架中的方式。结合传统的网络设计和机架顶部切换，这使我们能够在网络连接方面从逻辑上推断出机器彼此之间的距离。机器的物理位置也与其他问题有关，例如电力基础设施，这对于理解系统中可能的故障域至关重要。

通过实现一个脚本在Hadoop中配置机架拓扑，当给定命令行上的主机名或IP地址列表时，该脚本按顺序打印机器所在的机架。拓扑脚本的实现完全取决于管理员，可以像具有硬编码的机器和机架名称列表的shell脚本一样简单，也可以像从关系数据库中读取数据的C可执行文件那样复杂。最常见的脚本类型之一是使用机器的CSV文件进行机架映射。

这是一个例子

http://wiki.apache.org/hadoop/topology_rack_awareness_scripts