Map中的一对行在Hadoop中用作输入

时间:2015-07-06 07:50:40

标签: hadoop mapreduce

我有一个大文件。它有以下格式的多行。

Line1:  2 3 1 6 7
Line2:  9 3 4 5 6
Line3:  2 2 2 3 3
Line4:  1 2 5 6 7

在mapper函数中,我需要一次按2行。 (组合将是独一无二的)。我的意思是在mapper函数中,我需要得到它:

(Line 1 & Line 2)
(Line 1 & Line 3)
(Line 1 & Line 4)
(Line 2 & Line 3)
(Line 2 & Line 4)
(Line 3 & Line 4)

这是总4C2 = 6个独特的组合。 在那种情况下,我该如何实现?我需要使用哪种特定的输入格式?

0 个答案:

没有答案