获取hadoop中已完成和已退役工作的详细信息

Question

我需要从hadoop职位跟踪器中的已完成和已退役的工作中获取以下详细信息。

职位编号

用户

姓名（职位）

状态

完成时间。

基本上，上面大部分内容都是由jobtracker.jsp网址显示的。

我需要捕获它们以用于审计目的。

请告诉我如何访问上述字段。

代码示例非常有用

Answer 1

使用JobClient API，特别是getAllJobs（）调用以及返回的JobStatus对象数组的方法。

• http://hadoop.apache.org/docs/current/api/org/apache/hadoop/mapred/JobClient.html#getAllJobs()

一些未经测试的代码：

JobClient client = new JobClient(getConf());
for (JobStatus job : client.getAllJobs()) {
    if (job.isJobComplete()) {
        Stirng jobName = job.getJobName();
        int jobStatus = job.getJobStatus();
        // .. you get the idea
    }
}