Question

我想删除猪中的重复行。有很多方法，但我不确定哪一个更好。

这是数据集，架构是（f0，f1，id，f3，f4）：

1,2,3,2015-02-21,2015-02-20
1,2,3,2015-02-22,2015-02-20
1,2,3,2015-02-23,2015-02-20
1,2,4,2015-02-24,2015-02-20
1,2,5,2015-02-25,2015-02-20

如果f0，f1和id相等的行中的任何一行，则认为它们是重复的。我想输出其中一个f3最小的地方。

但我也希望输出哪些ID有重复项。

也就是说，我将存储或转储两个关系。

两个关系之一是：

1,2,3,2015-02-21,2015-02-20
1,2,4,2015-02-24,2015-02-20
1,2,5,2015-02-25,2015-02-20

另一个是具有重复行的id，模式是（id，f4）

3,2015-02-20

即，id = 3具有重复数据。

这是我的解决方法

r1 = LOAD 'data' USING PigStorage(',');
r2 =  group r1 by ($0,$1,$2);
r3 = FOREACH r2 GENERATE COUNT(r1) as c, r1;
SPLIT r3 into r4 if c > 1, r5 if c == 1;
r6 = FOREACH r5 GENERATE flatten(r1);

dups_id = FOREACH r4 {
GENERATE flatten(r1.$2),flatten(r1.$4);
};

r7= distinct dups_id

dump r7

no_dups = FOREACH r4 {
sorted = ORDER r1 by $3 ASC;
lim = limit sorted 1;
GENERATE flatten(lim);
};

r8 = union no_dups,r6

dump r8

我认为这有点复杂，我怀疑表现。

还有其他更好的想法可以实现这个用例吗？

Answer 1

我会这样做。

r1 = LOAD 'data' USING PigStorage(',');
r2 = group r1 by ($0,$1,$2);
r3 = FOREACH r2 GENERATE $0.., SIZE($1) AS size;
DEFINE MYTOP TOP('ASC');
r8 = FOREACH r2 {
    GENERATE MYTOP(1, 3, r1);
};

dups = FILTER r3 BY size > 1L;
dups2 = FOREACH dups GENERATE FLATTEN($1);
dups3 = FOREACH dups2 GENERATE $2, $4;
dups_id = DISTINCT dups3;

dump r8;
dump dups_id;

删除apache pig中的重复行

1 个答案: