是否可以从Array [Row]转到DataFrame

Question

如果我在collect上致电DataFrame，我会收到Array[Row]。但是我想知道是否可以从该结果返回到DataFrame或者通常是Array[Row]。

例如：

rows = df.select("*").collect()

有没有办法做这样的事情：

import df.sparkSession.implicits._
newDF = rows.toDF()

Answer 1

只要您提供架构，就可以提供struct Date { unsigned spare : 6; unsigned day : 6; unsigned month : 4; unsigned year : 16 }; 。然后，您可以使用List[Row]

SparkSession.createDataFrame

此处无法使用def createDataFrame(rows: List[Row], schema: StructType): DataFrame 的变体。

一般情况下，您应该避免toDF并将结果转换回collecting。