我理解它背后的一般概念,但我希望对“客户”是什么有更多的澄清和明确的定义。
例如,如果我只是在终端上写一个hdfs命令,它仍然是“客户端”吗?
答案 0 :(得分:5)
Client
是指用于与Hadoop文件系统通信的接口。 Hadoop可以使用不同类型的客户端来执行不同的任务。
基本文件系统客户端 hdfs dfs
用于连接到Hadoop文件系统并执行与基本文件相关的任务。它使用ClientProtocol与NameNode守护程序通信,并直接连接到DataNode以读取/写入块数据。
要在HDFS上执行管理任务,可以使用 hdfs dfsadmin
。对于与HA相关的任务, hdfs haadmin
。
有类似的客户可用于执行 YARN 相关任务。
可以使用各自的CLI命令从安装了Hadoop的节点调用这些客户端,并具有连接到Hadoop文件系统所需的必要配置和库。此类节点通常称为Hadoop客户端。
例如,如果我只是在终端上写一个hdfs命令,那就是它 还是一个"客户" ?
技术上,是。如果您能够使用hdfs
命令访问FS,则该节点具有成为Hadoop客户端所需的配置和库。
PS: API也可用于以编程方式创建这些客户端。
答案 1 :(得分:0)
边缘节点是Hadoop集群与外部网络之间的接口。此节点/主机将包含所有库和客户端组件,以及要连接到hdfs的群集的当前配置。 这个thread讨论了相同的