我正在尝试使用SQL API从Spark SQL读取Avro数据。
例:
CREATE TEMPORARY TABLE剧集
使用com.databricks.spark.avro
选项(路径“/tmp/episodes.avro”)
是否可以像在Scala API中一样设置avroSchema(.avsc文件)选项?
例:
火花
。读
.format( “com.databricks.spark.avro”)
.option(“avroSchema”,新的Schema.Parser()。parse(new File(“user.avsc”))。toString)
.load( “/ TMP / episodes.avro”)。显示()