hadoop资源管理器，如何知道数据在哪里

Question

例如，我运行配置单元查询“ SELECT COUNT（1）FROM DB.TABLE_NAME;”。

然后，配置单元将转换为MapReduce，然后提交给ResourceManager。 Hadoop的概念是将应用程序部署在数据所在的节点上。 但是，ResourceManager不知道数据在哪里。 如何部署ResourceManager的任务？

非常感谢您。

Answer 1

您无需担心数据的位置。 Hadoop在为您的工作计划任务时照顾数据的局部性。

Namenode具有有关要处理的文件块在HDFS中的位置的信息。 Hadoop使用此信息在这些计算机上启动任务并处理数据。作为开发人员，您将从这些信息中抽象出来