我可以将Hive虚拟列与Pig Latin HCatLoader一起使用

时间:2016-11-16 16:56:24

标签: hive apache-pig

我可以使用Hive虚拟列来唯一标识记录 documentation

与Pig Latin有相同的方法吗?具体来说,我可以使用org.apache.hive.hcatalog.pig.HCatLoader访问这些相同的虚拟列吗?如果没有,是否有另一种方法来识别每个记录的唯一指针,每次都可以用来引用同一记录?例如,如果我有一个表

学生|类|等级

Joe | Math | A

Mary | Math | A

Mike | Bio | B

和我使用虚拟列中的唯一键生成的另一个表

键|列|值

[input_file_name] + [block_offset_inside_file] |学生|乔

然后我可以使用另一个Hive查询将密钥追溯回原始记录,而无需显式创建另一个将此密钥作为列附加的表。

我可以用Pig Latin吗?

0 个答案:

没有答案