Hadoop自定义记录阅读器实现

时间:2015-08-20 05:17:35

标签: java hadoop mapreduce hdfs recordreader

我很难理解下面链接中解释的nextKeyValue()方法中发生的事情的流程:

http://analyticspro.org/2012/08/01/wordcount-with-custom-record-reader-of-textinputformat/

尤其是nextKeyValue()

中的for循环

任何帮助都会很明显

提前致谢

1 个答案:

答案 0 :(得分:0)

每个映射器将使用方法nextKeyValue()来迭代所有拆分记录。

NLinesRecordReader类定义每条记录有3行。

private final int NLINESTOPROCESS = 3;

循环在nextKeyValue()中的主要作用是为每条记录获取3行。该记录将用作map()方法的输入值。