如何使用chill-avro在Spark中加载Avro GenericRecords？

Question

我尝试在Spark中使用Avro GenericRecords，但得到了java.io.NotSerializableException：org.apache.avro.mapred.AvroWrapper

https://gist.github.com/rjurney/8b90e9b709d061cc0b94

chill项目增加了对Scala的Kryo / Avro支持。如何将Kryo，Avro，chill和Spark结合起来加载Avros？

Answer 1

chill-avro不是用于从FS加载数据，而是用于序列化机上数据。有关详细信息，请参阅以下链接

https://github.com/twitter/chill/issues/171#issuecomment-45049396