Hadoop计数器什么时候持续存在?

时间:2015-06-12 19:21:13

标签: java hadoop mapreduce

我有一个简单的MapReduce作业,该作业使用Hadoop计数器来计算作业的 reduce 阶段中的唯一Ids

当我从Java代码增加或仅在成功执行任务后,计数器更改是否会立即保留?

我想知道的原因是要确定我是否应该禁用作业中的推测执行,因为这可能导致重复计算,除非计数器更改仅在成功执行任务后发生。即便如此,如果相同的任务在同一时间成功,那么是否存在竞争条件?

0 个答案:

没有答案