我想知道是否有一种方法可以将模式推导到读取HDFS中存储的Avro文件的Spark数据集。特别是,此架构是否可能存储在Avro文件中?
例如:
val Dataset[Row] = sparkSession.read.format("com.databricks.spark.avro")
.option("inferSchema", "true")
.option("avroSchema", "HDFS path of the Avro schema file")
.load("hdfs://input/file.avro)
“ avroSchema”指向avro文件包含架构的HDFS路径。