Question

我是hadoop的新手。当我运行wordcount测试项目时，evrything工作正常。但是，我无法访问JobTracker处的http://localhost:50030。事实上，当我得到secondary node日志文件时，我收到异常消息：

java.io.IOException: Bad edit log manifest (expected txid = 3: [[21,22], [23,24]
[8683,8684], [8685,8686], [8687,8688], [8689,8690], [8691,8692], [8693,8694], [8695,8696], [8697,8698], [8699,8700]]...
....
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.downloadCheckpointFiles(SecondaryNameNode.java:438)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:540)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:395)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$1.run(SecondaryNameNode.java:361)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:415)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:357)
    at java.lang.Thread.run(Thread.java:745)

顺便说一下，当我运行jps时，我得到53745 JobHistoryServer 77259 Jps

更新：这是我的配置

core-site.xml

中的

<configuration>
  <property>
     <name>hadoop.tmp.dir</name>  
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>                                     
     <value>hdfs://localhost:9000</value>                             
  </property>                                                        
</configuration>

hdfs-site.xml

中的

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
     </property>
 </configuration>

mapred-site.xml

<configuration>
       <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9010</value>
       </property>
 </configuration>

我的yarn-site.xml

中没有设置任何内容

Answer 1

如果您使用的是最新版本的Hadoop，则无法使用Job Tracker。作业跟踪器已替换为Resource Manager和History Server。

如果您想访问过去的工作详情，请转到http://hostname:19888。这是作业历史记录服务器的Web UI地址。

有关详细信息，请参阅Hadoop Cluster Setup。

hadoop辅助节点的问题

1 个答案: