Hadoop任务进度

Question

我需要计算在Hadoop集群中的所有节点上运行的每个map任务的进度。我想将处理数据的大小除以整个输入数据的大小，但我不知道如何获取任务的这些信息。

我看到TaskStatus类有一个方法getProgress()，但没有对它的描述。它能提供我需要的价值吗？

Answer 1

对于地图任务，yes getProgress()返回映射器在输入文件中的进度。对于减少任务，计算不那么简单。 This article有一个很好的解释。