我可以使用Hive虚拟列来唯一标识记录 documentation
与Pig Latin有相同的方法吗?具体来说,我可以使用org.apache.hive.hcatalog.pig.HCatLoader访问这些相同的虚拟列吗?如果没有,是否有另一种方法来识别每个记录的唯一指针,每次都可以用来引用同一记录?例如,如果我有一个表
学生|类|等级
Joe | Math | A
Mary | Math | A
Mike | Bio | B
和我使用虚拟列中的唯一键生成的另一个表
键|列|值
[input_file_name] + [block_offset_inside_file] |学生|乔
然后我可以使用另一个Hive查询将密钥追溯回原始记录,而无需显式创建另一个将此密钥作为列附加的表。
我可以用Pig Latin吗?