我想写一个第三方前端到hadoop mapreduce,需要在一些信息和统计数据上查询mapreduce。
现在,我可以使用hadoop job
查询作业和地图,并减少完成百分比以及计数器,例如:
# hadoop job -status job_201212170023_0127
Job: job_201212170023_0127
map() completion: 0.6342382
reduce() completion: 0.0
Counters: 28
Job Counters
SLOTS_MILLIS_MAPS=4537
...
我还想要的是作业跟踪器中可视化使用的每项任务的编号,即:
我能列出所有地图制作者......
# hadoop job -list-attempt-ids job_201212170023_0127 map running
attempt_201212170023_0127_m_000000_0
attempt_201212170023_0127_m_000001_0
attempt_201212170023_0127_m_000002_0
...
..但我如何获得每项任务的百分比?理想情况下我会想要这样的东西:
# hadoop job -task-status attempt_201212170023_0127_m_000000_0
completion: 0.6342382
start: 2012-12-18T12:23:34Z
... etc.
当前的解决方案是抓取Web界面,但如果可以使用命令行输出,我不是这个的粉丝。