我试图在pySpark的一行代码中进行多项操作, 并且不确定我的情况是否可行。
我的意图是不必将输出保存为新的数据帧。
我目前的代码很简单:
encodeUDF = udf(encode_time, StringType())
new_log_df.cache().withColumn('timePeriod', encodeUDF(col('START_TIME')))
.groupBy('timePeriod')
.agg(
mean('DOWNSTREAM_SIZE').alias("Mean"),
stddev('DOWNSTREAM_SIZE').alias("Stddev")
)
.show(20, False)
我的目的是在使用count()
后添加groupBy
,以获得与 timePeriod
列的每个值相匹配的记录数\显示为输出。
尝试使用groupBy(..).count().agg(..)
时,我会遇到异常。
是否有任何方法可以实现count()
和agg()
.show()打印,而无需将代码拆分为两行命令,例如: :
new_log_df.withColumn(..).groupBy(..).count()
new_log_df.withColumn(..).groupBy(..).agg(..).show()
或者更好的是,将合并输出转换为agg.show()
输出 - 一个额外的列,用于说明与行的值匹配的计数记录数。 e.g:
timePeriod | Mean | Stddev | Num Of Records
X | 10 | 20 | 315
答案 0 :(得分:47)
count()
可以在agg()
内使用,因为groupBy
表达式相同。
import pyspark.sql.functions as func
new_log_df.cache().withColumn("timePeriod", encodeUDF(new_log_df["START_TIME"]))
.groupBy("timePeriod")
.agg(
func.mean("DOWNSTREAM_SIZE").alias("Mean"),
func.stddev("DOWNSTREAM_SIZE").alias("Stddev"),
func.count(func.lit(1)).alias("Num Of Records")
)
.show(20, False)
import org.apache.spark.sql.functions._ //for count()
new_log_df.cache().withColumn("timePeriod", encodeUDF(col("START_TIME")))
.groupBy("timePeriod")
.agg(
mean("DOWNSTREAM_SIZE").alias("Mean"),
stddev("DOWNSTREAM_SIZE").alias("Stddev"),
count(lit(1)).alias("Num Of Records")
)
.show(20, false)
count(1)
将按第一列计算记录,该列等于count("timePeriod")
import static org.apache.spark.sql.functions.*;
new_log_df.cache().withColumn("timePeriod", encodeUDF(col("START_TIME")))
.groupBy("timePeriod")
.agg(
mean("DOWNSTREAM_SIZE").alias("Mean"),
stddev("DOWNSTREAM_SIZE").alias("Stddev"),
count(lit(1)).alias("Num Of Records")
)
.show(20, false)