Question

我正在尝试计算PySpark 2中GroupedData对象的方差。看http://spark.apache.org/docs/2.1.0/api/python/pyspark.sql.html#pyspark.sql.GroupedData，我没有看到任何用于计算方差的内置函数。

有没有一种有效的方法来计算PySpark2中GroupedData对象的方差？

下面是我如何计算GroupedData对象的均值，最小值和最大值的示例代码，但我不确定如何计算方差：

from pyspark.sql import *
from pyspark.sql.session import SparkSession

spark = SparkSession.builder.getOrCreate()

columns = ['a', 'b']
vals = [('x', 3), ('x', 5), ('y', 1), ('y', 8), ('y', 4), ('z', 5), ('z', 7), ('z', 4), ('z', 9)]

df = spark.createDataFrame(vals, columns)

df.groupBy('a').agg(avg('b'), min('b'), max('b')).show()

数据框df如下所示：

+---+---+
|  a|  b|
+---+---+
|  x|  3|
|  x|  5|
|  y|  1|
|  y|  8|
|  y|  4|
|  z|  5|
|  z|  7|
|  z|  4|
|  z|  9|
+---+---+

我想创建一个类似于以下内容的新数据框，显示方差：

+---+--------+
|  a|   b_var|
+---+--------+
|  x|  1.0000|
|  y|  8.2222|
|  z|  3.6875|
+---+--------+

Answer 1

内置函数为here; var_pop模块中有两种方法var_samp和pyspark.sql.functions分别计算种群差异和样本方差，您需要的是 var_pop 函数：

import pyspark.sql.functions as F

(df.groupBy("a").agg(
    F.round(F.var_pop("b"), 2).alias("var_pop_b"), 
    F.round(F.var_samp("b"), 2).alias("var_samp_b")
)).show()
+---+---------+----------+
|  a|var_pop_b|var_samp_b|
+---+---------+----------+
|  x|      1.0|       2.0|
|  z|     3.69|      4.92|
|  y|     8.22|     12.33|
+---+---------+----------+

计算GroupedData的方差

1 个答案: