数据源v2(Spark 2.3)和列修剪中的readSchema方法

时间:2019-03-05 09:57:39

标签: apache-spark apache-spark-sql datasource

如果有列修剪,如何在DataSourceReader中实现readSchema()方法?

在调用pruneColumns(requiredSchema:StructType)方法架构之前会调用readSchema()方法,因此所需的列尚不知道。

0 个答案:

没有答案