从Hadoop Job中提取JobID等

Question

我正在群集中运行Hadoop jar文件。从文档中，我知道Hadoop管理JobID，开始时间等。是否可以获取参数，以便我们可以在我们的Web界面上显示它们，只是为了让用户知道作业将消耗多少时间（例如估计的持续时间）？

Answer 1

使用提供的API可以轻松获取Jobtracker UI中显示的所有详细信息。

使用 jobclient API参考：https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobClient.html  和 Jobstatus api参考：https://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobStatus.html

使用jobclient和jobstatus（jobsToComplete（），getAllJobs（））的组合，您可以检索JobId。获得jobId后，只需调用API中的函数即可轻松获取所有其他详细信息。