spark-在scala源代码中定义数据框的位置

Question

我试图在scala源代码中找到pyspark中的DataFrame类定义。

有些文件类似DataFrameReader，DataFrameWriter，Dataset，但没有DataFrame。

我找到了一些目录，例如spark / sql，spark / core。

Answer 1

DataFrame只是一个Dataset [Row]，并且是类型别名：

type DataFrame = Dataset[Row]

https://github.com/apache/spark/blob/50538600ec972469338370f7e2d3674ca8b3c389/sql/core/src/main/scala/org/apache/spark/sql/package.scala#L46