在Map-reduce Hadoop中使用Mapper类的run方法中的context对象？

Question

以下是Mapper的source code

public void run(Context context) throws IOException, InterruptedException {
    setup(context);
    while (context.nextKeyValue()) {
      map(context.getCurrentKey(), context.getCurrentValue(), context);
    }
    cleanup(context);
  }
}

您可以注意到，context和read同时使用了write。这怎么可能？ 即context.getCurrentKey()和context.getCurrentValue()用于从上下文中检索键和值对，并传递给map函数。用于输入和输出的context是否相同？

Answer 1

是的，输入和输出都是context。它存储对RecordReader和RecordWriter的引用。每当context.getCurrentKey()和context.getCurrentValue()用于检索键和值对时，请求都会委托给RecordReader。当context.write()被调用时，它被委托给RecordWriter。

请注意，RecordReader和RecordWriter实际上是抽象类。

更新：

org.apache.hadoop.mapreduce.Mapper$Context实现了org.apache.hadoop.mapreduce.MapContext，这又是子类org.apache.hadoop.mapreduce.TaskInputOutputContext

查看org.apache.hadoop.mapreduce.task.MapContextImpl的来源。这又是org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl的子类，用于查看Context代表输入和输出到RecordReader和RecordWriter的确切位置。