如何将Avro结构转换为SchemaRDD并返回?

时间:2014-09-12 06:39:04

标签: apache-spark avro

有没有办法将Avro结构转换为SchemaRDD?我在https://issues.apache.org/jira/browse/SPARK-2736中看到了JavaRDD的示例,但无法找到任何可以创建SchemaRDD的内容。

有一个链接显示如何将SchemaRDD转换为Avro,但我想知道Spark 1.1中是否提供了一些内容

https://issues.apache.org/jira/browse/SPARK-3350

1 个答案:

答案 0 :(得分:0)

是的,有一个单独的软件包允许您这样做:https://github.com/databricks/spark-avro

截至目前,它允许您同时执行Avro - > SparkSQL和SparkSQL - >阿夫罗。

它不太可能被添加到Spark本身以控制项目的范围,但是在Spark之外开发了许多有用的Spark包。请点击http://spark-packages.org/

了解更多信息