如何使用模式将数据帧转换为avro？

Question

如何使用用户指定的架构将数据帧转换为Avro格式？

Answer 1

您应该使用允许从Spark SQL读取和编写Avro数据的spark-avro模块。

import org.apache.avro.Schema
import org.apache.spark.sql.SparkSession

val schema = new Schema.Parser().parse(new File("user.avsc"))
val spark = SparkSession.builder().master("local").getOrCreate()
spark
  .read
  .format("com.databricks.spark.avro")
  .option("avroSchema", schema.toString)
  .load("src/test/resources/episodes.avro")