当Spark读取架构不同的多个镶木地板文件时会发生什么？

Question

鉴于以下内容

scala> sqlContext.read.parquet("/test-data/*.parquet").show()

如果您执行以下操作，

... 会同时读取这两个文件吗？

{{1}}

请注意，数据类型相同;只有列名不同。

Answer 1

如果设置option("mergeSchema", "true") Spark将自动合并架构