使用hadoop 2.2的历史服务器的正确方法是什么?

时间:2014-02-18 02:35:38

标签: hadoop yarn

我正在使用hadoop hadoop-2.2.0。我可以在主节点和从节点中启动historyserver吗?

  1. 但我不确定是否需要在奴隶上启动历史记录服务器 节点

  2. 如果我在master上启动一个历史服务器,我可以获取所有作业的所有日志吗?

  3. 如果我需要启动主节点和从节点中的所有服务器,是否有任何命令可以使用一个命令启动所有服务器?不要逐个启动每个服务器。

  4. 欢迎任何评论。

1 个答案:

答案 0 :(得分:11)

您只需要一个历史服务器。它可以在您喜欢的任何节点上运行,包括它自己的专用节点,但传统上与资源管理器在同一节点上运行。一个历史服务器在mapred-site.xml中声明:

  • mapreduce.jobhistory.address:MapReduce JobHistory服务器主机:端口默认端口为10020。
  • mapreduce.jobhistory.webapp.address:MapReduce JobHistory Server Web UI主机:端口默认端口为19888。
  • mapreduce.jobhistory.intermediate-done-dir:MapReduce作业(在HDFS中)写入历史文件的目录。默认值为/mr-history/tmp
  • mapreduce.jobhistory.done-dir:MR JobHistory Server管理历史文件的目录(在HDFS中)。默认值为/mr-history/done

您可以通过historyserver REST API访问历史记录,但不能直接访问内部历史记录文件。对于随意浏览,历史记录可在resouremanager Web UI中找到。