任务计数器和工作计数器之间的区别

时间:2014-06-14 09:23:20

标签: hadoop

有人可以帮我理解map reduce中任务计数器和作业计数器之间的区别吗?

Hadoop,The Definitive指南说任务计数器是随着任务的进展而更新的,而作业计数器是随着工作的进展而更新的。

这是唯一的区别还是它们还有其他区别?

1 个答案:

答案 0 :(得分:1)

任务计数器

任务计数器在执行过程中收集有关任务的信息,并将结果聚合在作业中的所有任务上。 每次都发送完整的任务计数器,而不是自上次传输以来发送计数,因为这样可以防止因丢失消息而导致的错误。此外,在作业运行期间,如果任务失败,计数器可能会停止,例如,您不希望在失败任务的拆分中添加bad_records。因此,当任务预测并成功完成时,任务统计信息的总计数将被发送到任务跟踪器,并传递给作业跟踪器。

职位计数器

作业计数器由jobtracker(或YARN中的应用程序主机)维护,因此不需要通过网络发送它们,与所有其他计数器不同,它们测量作业级统计信息,不是在任务运行时更改的值例如,TOTAL_LAUNCHED_MAPS计算启动的总映射任务数,这只是有关整个作业的统计信息