Question

如何有效地在Spark DataFrame中将列除以它自己的总和，而不立即触发计算？

假设我们有一些数据：

import pyspark
from pyspark.sql import SparkSession, Window
import pyspark.sql.functions as spf

spark = SparkSession.builder.master('local').getOrCreate()

data = spark.range(0, 100)

data # --> DataFrame[id: bigint]

我想在此数据框架上创建一个名为“normalized”的新列，其中包含id / sum(id)。一种方法是预先计算总和，如下所示：

s = data.select(spf.sum('id')).collect()[0][0]
data2 = data.withColumn('normalized', spf.col('id') / s)
data2 # --> DataFrame[id: bigint, normalized: double]

工作正常，但会立即触发计算;如果您为许多列定义了类似的内容，则会导致对数据进行多次冗余传递。

另一种方法是使用包含整个表格的窗口规范：

w = Window.rowsBetween(Window.unboundedPreceding, Window.unboundedFollowing)
data3 = data.withColumn('normalized', spf.col('id') / spf.sum('id').over(w))
data3 # --> DataFrame[id: bigint, normalized: double]

在这种情况下，定义data3很好，但是一旦你尝试实际计算它，Spark 2.2.0会将所有数据移动到一个分区，这通常会导致作业大数据集失败。

还有哪些方法可以解决这个问题，不会触发立即计算，而且可以处理大型数据集？我对任何解决方案感兴趣，不一定是基于pyspark的解决方案。

Answer 1

带有聚合的

crossJoin是一种方法：

data.crossJoin( 
    data.select(spf.sum('id').alias("sum_id"))
).withColumn("normalized", spf.col("id") / spf.col("sum_id"))

但我不会太担心：

工作正常，但会立即触发计算;如果您为许多列定义了类似的内容，则会导致对数据进行多次冗余传递。

只需一次计算多个统计信息：

data2 = data.select(spf.rand(42).alias("x"), spf.randn(42).alias("y"))
mean_x, mean_y = data2.groupBy().mean().first()

其余只是对本地表达式的操作：

data2.select(spf.col("x") - mean_x, spf.col("y") - mean_y)

如何在Spark DataFrame中将列除以其总和

1 个答案: