猪:计算地图中的键数

时间:2012-12-05 22:12:58

标签: hadoop hbase apache-pig

我想计算Pig中地图中的键数。我可以写一个UDF来做这个,但我希望有一个更简单的方法。

data = LOAD 'hbase://MARS1'
       USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
         'A:*', '-loadKey true -caching=100000')
       AS (id:bytearray, A_map:map[]);

在上面的代码中,我希望基本上构建一个id的直方图以及该列{001}列中的项目。

希望,我尝试了A,但毫不奇怪,这不起作用。

或者,也许有人可以提出一个更好的方法来完全做到这一点。如果我不能很快解决这个问题,我将只编写Java MapReduce作业或Pig UDF。

1 个答案:

答案 0 :(得分:2)

SIZE显然对你有用(我自己没试过):