无法在猪中加载avro架构

时间:2014-02-05 21:28:47

标签: hadoop mapreduce apache-pig avro

我有一个avro架构,我正在使用该架构将数据写入AvroSequenceFileOutputFormat。我查看了该文件,可以确认架构是否可供阅读。我叫这个函数

avro = load 'part-r-00000.avro' using AvroStorage(); 

它给了我错误信息

ERROR org.apache.pig.tools.grunt.Grunt - ERROR 2245: Cannot get schema from loadFunc org.apache.pig.builtin.AvroStorage
Details at logfile: /Users/ajosephs/Code/serialization-protocol/output/pig_1391635368675.log

有谁知道问题可能是什么。我可以发布日志文件,但它基本上只是说它无法解析,没有特定的错误。

1 个答案:

答案 0 :(得分:0)

在黑暗中拍摄,但是一旦我从猪生成的Avro数据文件中解析模式时遇到了问题。原来,Avro的股票文件解析器在架构之前的一小部分头中扼杀了一些随机前导字符。