从pig脚本中的地图中删除空值

时间:2014-03-06 00:22:44

标签: apache-pig

这是猪脚本

set default_parallel 100;
REGISTER '/x/home/eap/prod/lib/*.jar';
data = LOAD 'eap-prod://event' USING EAPDataLoader('{"attributes": { "all": "false",   "values" : ["customer_id","second_party_cookie_id","email_name","user_guid"] }}');

data_proj = foreach data generate eapVars.timestamp, attributes;

store data_proj into '/user/eap_test';

在输出中,我正在打印一个可以有4个值的地图(属性)。 下一步我要做的就是删除输出中没有值的键......

目前的输出是:

1392833008295[secondary_cookie_id#abcd,user_guid#,email_name#,customer_id#1234]

我希望它是

1392833008295[secondary_cookie_id#abcd,customer_id#1234]

如何摆脱输出中没有值的键?

1 个答案:

答案 0 :(得分:0)

编写一个UDF,迭代所有Map并删除空值