Apache Pig - 从RCFiles存储和加载

Question

使用旧版本的Pig，比如0.11，是否可以使用RCFiles读取/写入hdfs？

我知道Pig版本0.14支持Optimized RCFiles，即ORCFiles，但是我想坚持使用我目前的猪版本，即0.11

Answer 1

来自Twitter的Elephant-Bird图书馆（https://github.com/twitter/elephant-bird/）支持加载和存储RCFiles

所需的课程是 RCFilePigStorage（扩展PigStorage）

https://github.com/twitter/elephant-bird/blob/master/rcfile/src/main/java/com/twitter/elephantbird/pig/store/RCFilePigStorage.java

此库支持Pig版本0.8及更高版本。