“客户端”对Hadoop / HDFS的确切含义是什么?

时间:2017-04-05 04:43:14

标签: hadoop hdfs

我理解它背后的一般概念,但我希望对“客户”是什么有更多的澄清和明确的定义。

例如,如果我只是在终端上写一个hdfs命令,它仍然是“客户端”吗?

2 个答案:

答案 0 :(得分:5)

Hadoop中的

Client 是指用于与Hadoop文件系统通信的接口。 Hadoop可以使用不同类型的客户端来执行不同的任务。

基本文件系统客户端 hdfs dfs 用于连接到Hadoop文件系统并执行与基本文件相关的任务。它使用ClientProtocol与NameNode守护程序通信,并直接连接到DataNode以读取/写入块数据。 要在HDFS上执行管理任务,可以使用 hdfs dfsadmin 。对于与HA相关的任务, hdfs haadmin 。 有类似的客户可用于执行 YARN 相关任务。

可以使用各自的CLI命令从安装了Hadoop的节点调用这些客户端,并具有连接到Hadoop文件系统所需的必要配置和库。此类节点通常称为Hadoop客户端。

  

例如,如果我只是在终端上写一个hdfs命令,那就是它   还是一个"客户" ?

技术上,。如果您能够使用hdfs命令访问FS,则该节点具有成为Hadoop客户端所需的配置和库。

PS: API也可用于以编程方式创建这些客户端。

答案 1 :(得分:0)

边缘节点是Hadoop集群与外部网络之间的接口。此节点/主机将包含所有库和客户端组件,以及要连接到hdfs的群集的当前配置。 这个thread讨论了相同的