有条件地从PIG加载HBase记录

时间:2013-05-14 19:13:52

标签: hadoop mapreduce hbase hive apache-pig

有没有办法根据HBase中特定列的值将HBase中的记录加载到pig关系中?谢谢

1 个答案:

答案 0 :(得分:-1)

如果查看source code for the pig HBase loader,您可以看到它可以过滤关键范围和时间戳,它可以按前缀获取列,但不能按列值过滤。

您可以编写自己的加载程序(甚至基于该代码)并添加所需的功能。请注意,对列值进行过滤的性能无论如何都不会很好,并且在映射器中对该值进行过滤,虽然比在HBase过滤器中过滤慢,但不会有那么不同(您基本上可以保存来自regionserver的进程间通信)到猪的映射器)