我到处探索但无法得到解决方案。当我运行jps
命令时,它不会显示正在运行的作业历史记录服务器。
历史记录服务器的配置设置是什么以及如何启动它?
编辑1:
当历史服务器停止时,将删除以前记录的所有作业信息。如何在重新启动集群和/或历史记录服务器后保留所有这些信息?
答案 0 :(得分:3)
JobHistoryServer
进程必须单独启动。
开始:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh start historyserver
停止:
$HADOOP_HOME/sbin/mr-jobhistory-daemon.sh stop historyserver
如果群集设置为伪分布式,则不需要其他属性。
在多节点群集设置中,在JobHistoryServer
中添加这些mapred-site.xml
属性:
<property>
<name>mapreduce.jobhistory.address</name>
<value>hostname:10020</value> <!-- hostname of machine where jobhistory service is started -->
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hostname:19888</value>
</property>