猪群由两个领域产生奇怪的结果

时间:2016-06-09 15:30:50

标签: apache-pig

我在用apache-pig分组数据时遇到了问题。

使用以下方式加载数据

client_trace_send = LOAD '/user/hduser1/adm_project/client_trace50.csv' using PigStorage(',') as (code:chararray, client_id:int, loc_ts:int, length:int, op:chararray, err_code:int, time:long, thread_id:INT);

限制和检查数据:

client_trace_send_small = LIMIT client_trace_send 10;
DUMP client_trace_send_small;

加载数据:

(msg_snd,0,1,46,enrol_req,-1,1414250523591,9)
(res_rcv,0,1,25,enrol_resp,,1414250523655,9)
(msg_snd,1,2,48,query_queue,-1,1414250523655,9)
(res_rcv,1,2,14,err,19,1414250523661,9)
(msg_snd,1,3,59,peek_req,-1,1414250523661,9)
(res_rcv,1,3,13,err,0,1414250523662,9)
(msg_snd,1,4,59,peek_req,-1,1414250523662,9)
(res_rcv,1,4,13,err,0,1414250523663,9)
(msg_snd,1,5,59,peek_req,-1,1414250523663,9)

现在,我想通过字段“client_id”和“loc_ts”对所述数据进行分组。

GROUPED = GROUP client_trace_send_small by (client_id,loc_ts);

检查结果:

DUMP GROUPED;

奇怪的是:

((0,1),{(msg_snd,0,1,46,enrol_req,-1,1414250523591,9)})
((1,2),{(msg_snd,1,2,48,query_queue,-1,1414250523655,9)})
((1,3),{(msg_snd,1,3,59,peek_req,-1,1414250523661,9)})
((1,4),{(msg_snd,1,4,59,peek_req,-1,1414250523662,9)})
((1,5),{(msg_snd,1,5,59,peek_req,-1,1414250523663,9)})
((8,28493),{(msg_snd,8,28493,62,pop_req,-1,1414251764157,16)})
((9,25976),{(msg_snd,9,25976,66,query_sender,-1,1414251764148,17)})
((19,28250),{(msg_snd,19,28250,64,pop_req,-1,1414251764152,27)})
((31,27977),{(msg_snd,31,27977,65,peek_req,-1,1414251764152,39)})

存在的值甚至不会出现在加载的数据中。 对于第一组我会期望类似:

((0,1),{(msg_snd,0,1,46,enrol_req,-1,1414250523591,9),{(res_rcv,0,1,25,enrol_resp,,1414250523655,9)})

这里出了什么问题?

感谢您的帮助,提前谢谢。

祝你好运

1 个答案:

答案 0 :(得分:0)

这是因为LIMIT采用了一组随机数据:

  

无法保证将返回哪些元组和元组   返回的内容可以从一次运行更改为下一次运行。

因为你的scipt中有两个DUMP,所以Pig会将管道分成两个管道,每个管道分别执行LIMIT。因此,您将为每个子管道获得两个不同的数据集。

但我们所确定的是,转储数据显然来自输入文件,它们来自最多10行(如果文件的行数较少,则为<10)。

您可以查看explain计划及其explanation