标签: java hadoop mapreduce
我有一个简单的MapReduce作业,该作业使用Hadoop计数器来计算作业的 reduce 阶段中的唯一Ids。
Ids
当我从Java代码增加或仅在成功执行任务后,计数器更改是否会立即保留?
我想知道的原因是要确定我是否应该禁用作业中的推测执行,因为这可能导致重复计算,除非计数器更改仅在成功执行任务后发生。即便如此,如果相同的任务在同一时间成功,那么是否存在竞争条件?