Question

我需要在下面的行中得到数据框，以便在groupBy之后为max（'diff'）列创建一个别名“maxDiff”。但是，下面的行不做任何改变，也不会抛出错误。

 grpdf = joined_df.groupBy(temp1.datestamp).max('diff').alias("maxDiff")

Answer 1

您可以使用agg代替调用max方法：

from pyspark.sql.functions import max

joined_df.groupBy(temp1.datestamp).agg(max("diff").alias("maxDiff"))

同样在Scala中

import org.apache.spark.sql.functions.max

joined_df.groupBy($"datestamp").agg(max("diff").alias("maxDiff"))

或

joined_df.groupBy($"datestamp").agg(max("diff").as("maxDiff"))

Answer 2

这是因为您对整个DataFrame对象设置了别名，而不是Column。以下是如何仅对Column进行别名的示例：

import pyspark.sql.functions as func

grpdf = joined_df \
    .groupBy(temp1.datestamp) \
    .max('diff') \
    .select(func.col("max(diff)").alias("maxDiff"))

Answer 3

除了此处已有的答案之外，如果您知道汇总列的名称，以下也是方便的方法，您无需从pyspark.sql.functions导入：

<强> 1

grouped_df = joined_df.groupBy(temp1.datestamp) \
                      .max('diff') \
                      .selectExpr('max(diff) AS maxDiff')

有关.selectExpr()

的信息，请参阅docs

<强> 2

grouped_df = joined_df.groupBy(temp1.datestamp) \
                      .max('diff') \
                      .withColumnRenamed('max(diff)', 'maxDiff')

有关.withColumnRenamed()

的信息，请参阅docs

这里的答案更详细：https://stackoverflow.com/a/34077809

在pyspark中groupBy之后的列别名

3 个答案: