删除Pig中的空行

时间:2017-08-03 05:56:57

标签: hadoop apache-pig

我有一个像打击一样的数据集:

1,abc,10000
,zxcv,2000
, , ,
4,xyz,50000

我希望输出如下:

1,abc,10000 
zxcv,2000
4,xyz,50000

我怎样才能完成这项任务? 我想删除空行和null值。

1 个答案:

答案 0 :(得分:-1)

尝试Filter Operator

A = LOAD 'your_data' USING PigStorage() AS (your fields);

B = FILTER A BY your_fields IS NOT NULL;