在Pig UDF中恢复Avro记录

时间:2014-06-13 14:46:46

标签: apache-pig avro

我使用Avro存储数据,我需要将其传递给Pig UDF。什么是正确的方法;

  • 致电Pig的FOREACH运营商将整条记录传递给UDF,
  • "铸造"将元组转换为UDF中的Avro记录。

理想情况下,如果我有存储在.avro文件中的MyRecord类型的记录,每个记录都包含字段A,B和C.我想将整个记录传递给UDF(扩展EvalFunc)。在UDF中,我想要将元组转换为类型MyRecord的记录(来自编译的Avro架构)。通过这种方式,我可以灵活地使用MyRecord.getA()MyRecord.getB()MyRecord.getC(),并灵活地对所有三个字段进行操作。

0 个答案:

没有答案