Hadoop Mapreduce详细的任务状态查询

时间:2012-12-18 00:35:42

标签: hadoop visualization

我想写一个第三方前端到hadoop mapreduce,需要在一些信息和统计数据上查询mapreduce。

现在,我可以使用hadoop job查询作业和地图,并减少完成百分比以及计数器,例如:

# hadoop job -status job_201212170023_0127

Job: job_201212170023_0127
map() completion: 0.6342382
reduce() completion: 0.0

Counters: 28
    Job Counters 
        SLOTS_MILLIS_MAPS=4537
...

我还想要的是作业跟踪器中可视化使用的每项任务的编号,即:

job tracker chart

我能列出所有地图制作者......

# hadoop job -list-attempt-ids job_201212170023_0127 map running
attempt_201212170023_0127_m_000000_0
attempt_201212170023_0127_m_000001_0
attempt_201212170023_0127_m_000002_0
...

..但我如何获得每项任务的百分比?理想情况下我会想要这样的东西:

# hadoop job -task-status attempt_201212170023_0127_m_000000_0
completion: 0.6342382
start: 2012-12-18T12:23:34Z
... etc.

当前的解决方案是抓取Web界面,但如果可以使用命令行输出,我不是这个的粉丝。

0 个答案:

没有答案