如何实际执行Map和Reduce操作

时间:2015-08-11 06:36:27

标签: hadoop mapreduce

我已经完成了这个问题。,任何人都可以给出正确答案吗?

哪个最好地描述了TextInputFormat如何处理输入文件和换行符?

一个。输入文件拆分可能会跨越换行符。 RecordReader读取跨越文件拆分的行 包含折线开头的分割。

B中。输入文件拆分可能会跨越换行符。跨越文件拆分的行由。读取 包含折线的两个分裂的RecordReader。

℃。输入文件正好在换行符处进行分割,因此每个RecordReader都会读取一系列 完整的。

d。输入文件拆分可能会跨越换行符。将忽略跨越文件拆分的行。

电子。输入文件拆分可能会跨越换行符。 RecordReader读取跨越文件拆分的行 包含折线末端的分割。

提前致谢

1 个答案:

答案 0 :(得分:0)

Linerecordreader在下面的textinputformat类型调用的帮助下,读取地图调用的值,直到它遇到一个新行(如果指定了另一个分隔符)。所以很明显,记录永远不会结束,直到遇到新的一行。

newSize = in.readLine(value, maxLineLength, Math.max((int)Math.min(Integer.MAX_VALUE, end-pos),maxLineLength));

因此选项A保持良好。

输入文件拆分可能会跨越换行符。跨越文件拆分的行由包含折线开头的拆分的RecordReader读取。