Question

我是Hadoop的新手，并已在Ubuntu 16.04上以独立模式安装hadoop 3.1.2。当我尝试使用start-all.sh启动守护程序时，该命令说它正在启动其他守护程序。但是，当我检查jps时，除了jps之外没有其他

(sparkVenv) applied@nadeem-Inspiron-5558:~$ start-all.sh
WARNING: Attempting to start all Apache Hadoop daemons as applied in 10 seconds.
WARNING: This is not a recommended production deployment configuration.
WARNING: Use CTRL-C to abort.
Starting namenodes on [nadeem-Inspiron-5558]
Starting datanodes
Starting secondary namenodes [nadeem-Inspiron-5558]
Starting resourcemanager
Starting nodemanagers
(sparkVenv) applied@nadeem-Inspiron-5558:~$ jps
21729 Jps
(sparkVenv) applied@nadeem-Inspiron-5558:~$

这是namenode日志的一部分

*************************************************** ************* /
2019-05-06 15：36：43,116 INFO org.apache.hadoop.hdfs.server.namenode.NameNode：用于[TERM，HUP，INT]的已注册UNIX信号处理程序
2019-05-06 15：36：43,252信息org.apache.hadoop.hdfs.server.namenode.NameNode：createNameNode []
2019-05-06 15：36：43,515 INFO org.apache.hadoop.metrics2.impl.MetricsConfig：从hadoop-metrics2.properties中加载的属性
2019-05-06 15：36：43,635 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl：计划的公制快照周期为10秒。
2019-05-06 15：36：43,636信息org.apache.hadoop.metrics2.impl.MetricsSystemImpl：NameNode指标系统已启动
2019-05-06 15：36：43,671信息org.apache.hadoop.hdfs.server.namenode.NameNodeUtils：fs.defaultFS是file：///
2019-05-06 15：36：43,816错误org.apache.hadoop.hdfs.server.namenode.NameNode：无法启动namenode。
java.lang.IllegalArgumentException：NameNode地址的URI无效（检查fs.defaultFS）：file：///没有权限。
        在org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress（DFSUtilClient.java:697）
        在org.apache.hadoop.hdfs.DFSUtilClient.getNNAddressCheckLogical（DFSUtilClient.java:726）
        在org.apache.hadoop.hdfs.DFSUtilClient.getNNAddress（DFSUtilClient.java:688）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.getRpcServerAddress（NameNode.java:529）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.loginAsNameNodeUser（NameNode.java:660）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.initialize（NameNode.java:680）
        在org.apache.hadoop.hdfs.server.namenode.NameNode。（NameNode.java:937）
        在org.apache.hadoop.hdfs.server.namenode.NameNode。（NameNode.java:910）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode（NameNode.java:1643）
        在org.apache.hadoop.hdfs.server.namenode.NameNode.main（NameNode.java:1710）
2019-05-06 15：36：43,819 INFO org.apache.hadoop.util.ExitUtil：以状态1退出：java.lang.IllegalArgumentException：NameNode地址的URI无效（检查fs.defaultFS）：file：///具有没有权限。
2019-05-06 15：36：43,821信息org.apache.hadoop.hdfs.server.namenode.NameNode：SHUTDOWN_MSG：
/ ***************************************************** ***********
SHUTDOWN_MSG：在nadeem-Inspiron-5558 / 127.0.1.1中关闭NameNode
****************************************************** ********** /

Answer 1

您已经在日志中找到了问题，由于core-site.xml“ fs.defaultFS”配置中的问题，您的NameNode无法启动。

希望这会有所帮助。

Answer 2

发现core-site.xml和hdfs-site.xml为空。
添加了https://hadoop.apache.org/docs/r3.2.0/hadoop-project-dist/hadoop-common/SingleCluster.html所述的伪分布式模式下的配置，并格式化了namenode。
之后，守护程序开始执行start-all.sh

Hadoop 3.1.2：执行start-all.sh

2 个答案: