Question

我试图用Pig计算百分位数。我需要使用属性对数据进行分组，并根据销售额计算组中每个元组的百分位数。

我已经看到没有内置Pig功能来执行此操作。想知道是否有人遇到过类似的问题可以帮助我。

Answer 1

正如JaiPrakash所提到的，您可以使用StreamingQuantile库中的UDF Apache DataFu。由于我已经准备好了一个例子，我将在这里复制它。

<强>输入

item1,234
item1,324
item1,769
item2,23
item2,23
item2,45

PIG脚本

register datafu-1.2.0.jar;
define Quantile datafu.pig.stats.StreamingQuantile('0.0','0.5','1.0');
data = load 'data' using PigStorage(',') as (item:chararray, value:int);
quantiles = FOREACH (GROUP data by item) GENERATE group, Quantile(data.value);
dump quantiles;

<强>输出

(item1,(234.0,324.0,769.0))
(item2,(23.0,23.0,45.0))

Pig Latin中的百分位数计算

1 个答案: