有没有办法将Avro结构转换为SchemaRDD?我在https://issues.apache.org/jira/browse/SPARK-2736中看到了JavaRDD的示例,但无法找到任何可以创建SchemaRDD的内容。
有一个链接显示如何将SchemaRDD转换为Avro,但我想知道Spark 1.1中是否提供了一些内容
答案 0 :(得分:0)
是的,有一个单独的软件包允许您这样做:https://github.com/databricks/spark-avro
截至目前,它允许您同时执行Avro - > SparkSQL和SparkSQL - >阿夫罗。
它不太可能被添加到Spark本身以控制项目的范围,但是在Spark之外开发了许多有用的Spark包。请点击http://spark-packages.org/
了解更多信息