如何在hadoop 2.5.2上启动和检查工作历史记录

时间:2014-11-27 15:57:24

标签: hadoop

  1. 在mapreduce webconsole中为每个应用程序提供了一个跟踪ui链接,指向xx:19888 / jobhistory /,但是如何在19888启动服务(我已经启动了4项服务:yarn-resource-manager,yarn-node -manager,hdfs-name-node,hdfs-data-node,我错过了什么?)
  2. 是在2.5.2
  3. 中删除的jobtracker
  4. 我想检查为我的工作生成的job.xml,我在哪里可以找到它。我已经指定了“mapreduce.jobtracker.jobhistory.location”,但没有任何内容
  5. 谢谢。

3 个答案:

答案 0 :(得分:4)

  1. 要访问JobHistory服务器的Web界面,您必须启动hadoop-mapreduce-historyserver服务,默认情况下该服务将绑定到19888
  2. 如果您正在群集中运行YARN,那么您不再需要jobtracker,将完成的工作转移到ResourceManager,NodeManager的& ApplicationMaster的。但是,您仍然可以安装MRv1,在这种情况下,您将安装JobTracker和TaskTracker(不推荐)。
  3. 您可以通过导航到http://RESOURCEMANAGER_HOST:8088/cluster - >来检查ResourceManager UI中的job.xml。选择您的应用程序的跟踪UI - >选择作业ID - >在左侧选项卡上,您将能够看到配置。或者,如果您已经知道您的工作ID,请访问此链接:http://JOBHISTORY_SERVER:19888/jobhistory/conf/YOUR_JOB_ID

答案 1 :(得分:3)

$ HADOOP_HOME / sbin / mr-jobhistory-daemon.sh --config $ HADOOP_HOME / etc / hadoop start historyserver

然后运行jps以查看它是否正在运行。

答案 2 :(得分:2)

请尝试' jps'命令验证所有服务正在运行。

尝试// jhs_host:port /默认HTTP端口是19888。"

确保您的hadoop服务正在运行。