我们可以加载Writable KEY,VALUE对的序列文件,并使用LoadCaster接口将KEY,VALUE对转换为pig数据类型,以将原始字节数组转换为pig数据类型吗?
如果是这样,是否有一些用于加载序列文件并调用LoadCaster的pig代码示例?
具体来说,我现在正在这样做:
A = LOAD '/tmp/part-m-00000' using SequenceFileLoader AS (key:bytearray, value:bytearray);
到目前为止,这是有效的,但我不知道使用我自己创建的LoadCaster对象将pig和value转换为各自的元组的pig语法。
答案 0 :(得分:0)
似乎答案是使用Elephant Bird的SequenceFileLoader(并且一定不要将Elephant Bird库中的那个与来自piggybank库的旧库混淆)。
转换器遵循同一封装中其他转换器的模式实现。