如何将Avro模式文件推断为Spark数据集?

时间:2019-05-20 07:49:54

标签: apache-spark hdfs avro apache-spark-dataset

我想知道是否有一种方法可以将模式推导到读取HDFS中存储的Avro文件的Spark数据集。特别是,此架构是否可能存储在Avro文件中?

例如:

val Dataset[Row] = sparkSession.read.format("com.databricks.spark.avro")
                   .option("inferSchema", "true")
                   .option("avroSchema", "HDFS path of the Avro schema file")    
                   .load("hdfs://input/file.avro)

“ avroSchema”指向avro文件包含架构的HDFS路径。

0 个答案:

没有答案