连接来自不同关系的字段

时间:2015-06-04 12:17:45

标签: apache-pig

有两种关系

r1: {f1: chararray, f2: chararray}
r2: {f3: chararray, f4: chararray}

任何一个关系中都没有唯一键,但元组的数量是相同的。

有没有办法连接关系的相应字段以获得像f2,f4这样的输出?

2 个答案:

答案 0 :(得分:3)

如果元组的顺序正确,则可以使用RANK。

r1a = RANK r1 BY * DENSE;
r2a = RANK r2 BY * DENSE;

r1r2 = JOIN r1a BY $0, r2a BY $0;

答案 1 :(得分:0)

另一种选择是使用:CROSS(http://pig.apache.org/docs/r0.12.0/basic.html#cross

注意:从文档中提取:CROSS是一项昂贵的操作,应该谨慎使用。

猪脚本:

R1 = LOAD 'a.csv'  USING  PigStorage(',') AS (f1:chararray,f2:chararray);
R2 = LOAD 'b.csv'  USING  PigStorage(',') AS (f3:chararray,f4:chararray);

R3 = CROSS R1,R2;

R4 = FOREACH R3 GENERATE f2,f4;

DUMP R4;

输入:

a.csv:

f1_value,f2_value

<强> b.csv

f3_Value,f4_value

输出:DUMP R4:

(f2_value,f4_value)