Question

我是hadoop的新手，目前正在研究hadoop。我有一个小问题。

我在输入文件夹中有大约10个文件，我需要传递给我的地图缩减程序。我希望我的mapper中的文件名为，因为我的fileName包含创建此文件的时间。我看到有人使用FileSplit在mapper中获取文件名。如果说我的输入文件包含数百万行，那么每次调用映射器代码时，它都会获得文件名，然后从文件中提取时间，这对于同一个文件来说显然是一个重复的耗时。一旦我在映射器中得到时间，我就不必一次又一次地从文件中分配时间。

我怎样才能做到这一点？

Answer 1

您可以使用Mapper的setup方法获取文件名，因为setup方法只能在map()方法初始化之前运行一次，如下所示：

public class MapperRSJ extends Mapper<LongWritable, Text, CompositeKeyWritableRSJ, Text> {
  String filename;

  @Override
  protected void setup(Context context) throws IOException, InterruptedException {
    FileSplit fsFileSplit = (FileSplit) context.getInputSplit();
    filename = context.getConfiguration().get(fsFileSplit.getPath().getParent().getName()));
  }

  @Override
  public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
    // process each key value pair
  }
}

Hadoop：仅在映射器中获取输入文件名一次

1 个答案: