Pig中的ORCfile存储实现

Question

有人知道如何在Pig中使用ORCfiles输入/输出吗？ 我在象鸟中找到了对RCFiles的某种支持，但似乎不支持ORC格式...... 您能否提供使用Pig访问/存储Pig中的ORC文件的示例？

Answer 1

通过Pig支持ORC存储尚未得到承诺且正在积极开发中。请参阅Apache JIRA PIG-3558。在此之后，您将能够通过您的Pig脚本访问ORC文件，如此

load 'foo.orc' using OrcStorage();
...
store .. using OrcStorage('-c SNAPPY');

Answer 2

使用存储为ORC的HCat CLI定义HCatalog表。然后使用org.apache.hcatalog.pig.HCatLoader（）或STORE使用org.apache.hcatalog.pig.HCatStorer（）

加载pig中的关系。