在减速器的配置方法中调用进度或增加计数器

Question

有可能这样做吗？

上下文：我的reducer配置方法需要从DistributedCache中读取一组文件（总大小约为150MB）。但是，我不知道为什么需要花费很长时间才能杀死一些减速器，尽管有一些减速器已成功完成。

我使用旧API，我只能在configure方法中访问JobConf conf变量。

我的想法是让记者变量为一个字段，然后我可以在configure方法中调用它。但似乎在调用reduce之前调用configure。

Answer 1

转换代码以使用新API！

然后在setup()中，您可以访问context变量并按如下方式调用progress()：

@Override
        protected void setup(Context context) throws IOException, InterruptedException {
context.progress();
}