Spark Dataframe toPandas（）。describe（）

Question

我有一个带有浮点数列的Spark数据框。所有列均为浮点数据类型。现在，我正在执行df.toPandas().describe()，但看到的是COUNT，UNIQUE，FREQ和TOP。我看不到其他统计数据，例如百分位数，最小值，最大值，平均值等。

Answer 1

好吧，显然，当您将Spark数据帧转换为Pandas数据帧时，它不会自动将Spark的数据类型模拟为Pandas。我所有的变量都变成了对象，而不是浮点数。我所做的就是将我的Pandas数据框转换为pandasDF.astype(float).describe()浮动，然后我得到了所需的东西。