为什么Apache Spark会在嵌套结构中读取不必要的Parquet列?

时间:2016-10-21 20:34:28

标签: apache-spark spark-dataframe parquet

我的团队正在构建一个ETL流程,将原始分隔文本文件加载到基于Parquet的"数据湖"使用Spark。 Parquet专栏商店的承诺之一是查询只会读取必要的"列条纹"。

但是我们正在为嵌套的架构结构读取意外的列。

为了演示,这里是使用Scala和Spark 2.0.1 shell的POC:

// Preliminary setup
sc.setLogLevel("INFO")
import org.apache.spark.sql.types._
import org.apache.spark.sql._

// Create a schema with nested complex structures
val schema = StructType(Seq(
    StructField("F1", IntegerType),
    StructField("F2", IntegerType),
    StructField("Orig", StructType(Seq(
        StructField("F1", StringType),
        StructField("F2", StringType))))))

// Create some sample data
val data = spark.createDataFrame(
    sc.parallelize(Seq(
        Row(1, 2, Row("1", "2")),
        Row(3, null, Row("3", "ABC")))),
    schema)

// Save it
data.write.mode(SaveMode.Overwrite).parquet("data.parquet")

然后我们将文件读回DataFrame并投影到列的子集:

// Read it back into another DataFrame
val df = spark.read.parquet("data.parquet")

// Select & show a subset of the columns
df.select($"F1", $"Orig.F1").show

当这个运行时,我们会看到预期的输出:

+---+-------+
| F1|Orig_F1|
+---+-------+
|  1|      1|
|  3|      3|
+---+-------+

但是......查询计划显示了一个略有不同的故事:

"优化计划"所示:

val projected = df.select($"F1", $"Orig.F1".as("Orig_F1"))
projected.queryExecution.optimizedPlan
// Project [F1#18, Orig#20.F1 AS Orig_F1#116]
// +- Relation[F1#18,F2#19,Orig#20] parquet

"解释"所示:

projected.explain
// == Physical Plan ==
// *Project [F1#18, Orig#20.F1 AS Orig_F1#116]
// +- *Scan parquet [F1#18,Orig#20] Format: ParquetFormat, InputPaths: hdfs://sandbox.hortonworks.com:8020/user/stephenp/data.parquet, PartitionFilters: [], PushedFilters: [], ReadSchema: struct<F1:int,Orig:struct<F1:string,F2:string>>

执行期间生成的INFO日志也确认意外读取了Orig.F2列:

16/10/21 15:13:15 INFO parquet.ParquetReadSupport: Going to read the following fields from the Parquet file:

Parquet form:
message spark_schema {
  optional int32 F1;
  optional group Orig {
    optional binary F1 (UTF8);
    optional binary F2 (UTF8);
  }
}

Catalyst form:
StructType(StructField(F1,IntegerType,true), StructField(Orig,StructType(StructField(F1,StringType,true), StructField(F2,StringType,true)),true))

根据Dremel paperParquet documentation,复杂嵌套结构的列应独立存储并可独立检索。

问题:

  1. 此行为是当前Spark查询引擎的限制吗?换句话说,Parquet是否支持以最佳方式执行此查询,但Spark的查询规划器是否天真?
  2. 或者,这是当前Parquet实施的限制吗?
  3. 或者,我没有正确使用Spark API吗?
  4. 或者,我是否误解了Dremel / Parquet柱存储应该如何工作?
  5. 可能相关:Why does the query performance differ with nested columns in Spark SQL?

1 个答案:

答案 0 :(得分:4)

目前这是Spark查询引擎的一个限制,相关的JIRA票据在下面,spark只处理Parquet中简单类型的谓词下推,而不是嵌套的StructTypes

https://issues.apache.org/jira/browse/SPARK-17636