Apache Pig:如何使用LoadCaster将Writable对象转换为Pig类型?

时间:2013-05-17 03:35:03

标签: hadoop apache-pig

我们可以加载Writable KEY,VALUE对的序列文件,并使用LoadCaster接口将KEY,VALUE对转换为pig数据类型,以将原始字节数组转换为pig数据类型吗?

如果是这样,是否有一些用于加载序列文件并调用LoadCaster的pig代码示例?

具体来说,我现在正在这样做:

A = LOAD '/tmp/part-m-00000' using SequenceFileLoader AS (key:bytearray, value:bytearray);

到目前为止,这是有效的,但我不知道使用我自己创建的LoadCaster对象将pig和value转换为各自的元组的pig语法。

1 个答案:

答案 0 :(得分:0)

似乎答案是使用Elephant Bird的SequenceFileLoader(并且一定不要将Elephant Bird库中的那个与来自piggybank库的旧库混淆)。

转换器遵循同一封装中其他转换器的模式实现。