如何在Pig中使用Avro数据

时间:2015-02-25 19:47:03

标签: apache-pig avro

我正在尝试使用提供的" AvroStorage"将Avro数据文件加载到猪身上。加载功能。数据是从python脚本生成的,该脚本使用python的avro库将文本数据转换为avro格式。即使我只是尝试运行

out = LOAD "path/to/file.avro" using AvroStorage();

我收到错误

java.lang.ClassCastException: org.apache.avro.util.Utf8 cannot be cast to java.lang.String

我正在使用avro 1.7.7版来创建数据。

我不知道如何判断猪功能使用的是什么版本的avro,但猪的版本是0.12。

有人知道我为什么会收到此错误吗?

1 个答案:

答案 0 :(得分:0)

你可以在猪身上注册一个罐子

using (var context = new BloggingContext()) 
{ 
    var blog = new Blog { Name = "ADO.NET Blog" }; 
    context.Blogs.Add(blog); 
    context.SaveChanges(); 
}

关于错误,猪版本0.12中报告了一个错误并且已修复 https://issues.apache.org/jira/browse/PIG-3297