哪些进程需要访问core-site.xml和hdfs-site.xml

时间:2018-07-30 16:06:39

标签: hadoop hdfs

  

core-site.xml文件通知Hadoop守护程序NameNode在何处运行   集群。它包含Hadoop Core的配置设置   例如HDFS和MapReduce通用的I / O设置。

     

hdfs-site.xml文件包含HDFS的配置设置   守护程序NameNode,Secondary NameNode和DataNode。   在这里,我们可以配置hdfs-site.xml以指定默认块   HDFS上的复制和权限检查。实际数量   创建文件时也可以指定复制。的   如果未在创建时指定复制,则使用默认值。

我想了解哪些进程[Namenode,Datanode,HDFS客户端]需要访问哪些配置文件?

  • Namenode:我想它只需要hdfs-site.xml,因为它不需要知道自己的位置。
  • Datanode:我想它需要同时访问core-site.xml(以找到名称节点)和hdfs-site.xml(用于各种设置)?
  • HDFS客户端:我想它需要同时访问core-site.xml(以找到名称节点)和hdfs-site.xml(用于各种设置)?

那么准确吗?

2 个答案:

答案 0 :(得分:1)

客户端和服务器进程需要访问两个文件

如果您将HDFS名称服务与高度可用的Namenodes一起使用,则两个Namenodes必须彼此查找

答案 1 :(得分:0)

一些评论:

  • core-site.xml hdfs-site.xml是外部使用的两个
    程序(例如NiFi)访问群集/ WEB HDFS API
  • 边缘节点同时需要集群访问

  • Ambari将同时管理所有这些

  • 您列出的三个都需要访问权限才能运行集群,并且至少设置了一些基本设置,例如代理设置和集群访问权限