如何写一个Spark Dataframe的镶木地板？

Question

我有一个spark应用程序，但当我尝试将数据框写入镶木地板时，文件夹已成功创建，但文件夹中没有数据只是一个名为＆＃34; _SUCCESS＆＃34;

这是我的代码：

def writeToParquet(dataFrame: DataFrame, path: String): Unit = {
    dataFrame.write.parquet(s"$path.parquet")
}

Answer 1

尝试这样做：

假设“df”是您的数据框的名称，“tab1”是您要将其存储为的表的名称。

df.write.mode(SaveMode.Overwrite).format("parquet").saveAsTable("tab1")

注意：saveAsTable方法将数据表保存在配置的Hive Metastore中，如果这是您的目标。如果这有帮助，请告诉我。