维护Pig Script中的数据顺序

时间:2014-02-18 04:38:26

标签: apache-pig

我们说我有以下PIG脚本

    record = LOAD 'input' USING PigStorage('\t') as (id, name, age);
    orderedRecord = ORDER record BY age ASC;
    finalRecord = FOREACH orderedRecord GENERATE id,name;
    storedRecords = LIMIT finalRecord 1000;
    STORE storedRecords INTO 'output';

我知道orderedRecord将根据年龄进行排序,但是当我从orderedRecord中删除年龄时,数据是否仍按排序顺序排列。我只想存储1000个数据点,其中只有id和名称按年龄排序。

1 个答案:

答案 0 :(得分:0)

不,它可能会按照我的理解进行排序,但不能保证。

如您所知,如果您进一步处理此数据,那么您将失去订单。因此,无法保证您的数据仍会保持排序状态,但仍然存在剩余订购的可能性。