来自 Pandas DataFrame 的 spark.createDataFrame 只复制标题

时间:2021-08-01 23:07:56

标签: pandas dataframe pyspark

我对 Spark 很陌生,我正在尝试使用以下方法将 Pandas DataFrame 转换为 Spark DataFrame。然而,sparkDF 只有标题列。 pandasDF 有 161 条记录,但它们没有被复制,我不明白为什么。

sparkD = spark.createDataFrame(pandasDF)
sparkDF.show()

0 个答案:

没有答案