Question

我有三个安装了docker的物理节点。我在这些节点之间配置了一个高可用的hadoop集群。配置如下： Core-site.xml：

  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://mycluster</value>
  </property>

  <property>
     <name>dfs.journalnode.edits.dir</name>
     <value>/tmp/hadoop/dfs/jn</value>
  </property>

  <property>
     <name>fs.default.name</name>
     <value>hdfs://mycluster</value>
  </property>

  <property>
     <name>ha.zookeeper.quorum</name>
     <value>10.32.0.1:2181,10.32.0.2:2181,10.32.0.3:2181</value>
  </property>

Hdfs-site.xml：

   <property>
     <name>dfs.nameservices</name>
     <value>mycluster</value>
   </property>
   <property>
     <name>dfs.ha.namenodes.mycluster</name>
     <value>nn1,nn2</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn1</name>
     <value>10.32.0.1:8020</value>
   </property>
   <property>
     <name>dfs.namenode.rpc-address.mycluster.nn2</name>
     <value>10.32.0.2:8020</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn1</name>
     <value>10.32.0.1:50070</value>
   </property>
   <property>
     <name>dfs.namenode.http-address.mycluster.nn2</name>
     <value>10.32.0.2:50070</value>
   </property>
   <property>
     <name>dfs.client.failover.proxy.provider.mycluster</name>
     <value>org.apache.hadoop.hdfs.server.namenode.
      ha.ConfiguredFailoverProxyProvider</value>
   </property>
   <property>
     <name>dfs.namenode.shared.edits.dir</name>
     <value>qjournal:// 
     10.32.0.1:8485;10.32.0.2:8485;10.32.0.3:8485/mycluster</value>
   </property>
   <property>
     <name>dfs.permissions.enable</name>
     <value> false </value>
   </property>
   <property>
     <name>dfs.ha.fencing.methods</name>
     <value>sshfence</value>
   </property>
   <property>
     <name>dfs.ha.fencing.ssh.private-key-files</name>
     <value>/home/hdfs/.ssh/id_rsa</value>
   </property>
   <property>
     <name>dfs.ha.fencing.ssh.connect-timeout</name>
     <value>30000</value>
   </property>
   <property>
     <name>dfs.permissions.superusergroup</name>
     <value>hdfs</value>
   </property>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
   </property>
   <property>
     <name>dfs.namenode.name.dir</name>
     <value>file:///usr/local/hadoop_store/hdfs/namenode</value>
   </property>
   <property>
     <name>dfs.datanode.data.dir</name>
     <value>file:///usr/local/hadoop_store/hdfs/datanode</value>
   </property>
   <property>
     <name>dfs.namenode.datanode.registration.ip-hostname- 
     check</name>
     <value>false</value>
   </property>
   <property>
     <name>dfs.ha.automatic-failover.enabled</name>
     <value>true</value>
   </property>

我创建了 hdfs 用户和 ssh-passwordless 。当我想通过以下命令启动journalnode以格式化namenode时：

    sudo /opt/hadoop/bin/hdfs --daemon start journalnode

我收到此错误：

错误：无法设置journalnode进程6520的优先级

请问我的配置有什么问题才能收到错误？

谢谢。

Answer 1

问题解决了。我在 / opt / hadoop / logs / *。log 中检查日志，并看到以下行：

无法建立 / tmp / hadoop / dfs / journalnode 的目录。

首先，我将日志节点目录的配置放入 hdfs-site.xml 并创建了日志节点目录。然后，我再次启动日记节点，并遇到此错误：

目录不可写。因此，我运行了以下命令以使目录可写：

  chmod 777 /tmp/hadoop/dfs/journalnode
  chown -R root /tmp/hadoop/dfs/journalnode

然后我可以启动日记帐节点。

错误：无法设置journalnode进程6520的优先级

1 个答案: