Question

我的第一个问题，我会尽量不要太糟糕：）

我在4节点集群上安装Hadoop 2.9.0，用于学习目的。我已经开始使用官方Apache Hadoop 2.9.0文档和一些谷歌页面的namenode安装/配置。

我编辑了位于$ HADOOP_HOME / etc / hadoop目录下的hdfs-site.xml，如下所示：

  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///apps/hdfs/namenode/data</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///apps/hdfs/datanode/data</value>
  </property>
  <property>
    <name>dfs.namenode.checkpoint.dir</name>
    <value>file:///apps/hdfs/namesecondary/data</value>
  </property>

当我运行“hadoop namenode -format”时，它会格式化/ tmp / hadoop-hadoop /...下的默认$ hadoop.tmp.dir。

找到一些页面，说将HADOOP_CONF_DIR设置为XML配置文件所在的位置（即：$ HADOOP_HOME / etc / hadoop），但也有一些说明相反，不设置它。

在我的情况下，它确实解决了我的问题，但不确定它是否是正确的修改？

如果有人能帮助我理解这一点，那就太棒了:)。

非常感谢！

Answer 1

您不清楚自己遇到了什么问题，但spark.blockManager.port的默认设置是在HADOOP_CONF_DIR文件中设置的，该文件已在加载之前加载所有hadoop命令。

我相信这可能只是hadoop-env.sh。至少，大多数集群存储配置的地方

由于您的文件位于其他位置，因此您需要将该值导出为其他内容，这很好。

就个人而言，我建议使用Apache Ambari而不是手动管理和安装2个以上的节点。它确保您的配置匹配并另外监控服务

Hadoop 2.9.0 - hadoop namenode -format和hdfs-site.xml dfs.namenode.name.dir

1 个答案: