在Pig Latin中选择不同的行

Question

在Pig Latin中，有没有一种很好的方法可以在表格中选择不同的行？例如，假设我有桌子（1,2,3）; （2,5,1）; （1,2,3），但我想要（1,2,3）; （2,5,1）。

Answer 1

是的，在Pig Latin中，有一个关系运算符DISTINCT正是这样做的。

例如：

  -- assume input is:
  -- 1,2,3
  -- 2,5,1
  -- 1,2,3
  data = LOAD 'input' USING PigStorage(',') AS (val1:int,val2:int,val3:int);

  data2 = DISTINCT data;

  -- produces:
  -- 1,2,3
  -- 2,5,1
  DUMP data2;