Question

在没有sql / hiveContext的Spark中使用groupby-having的语法是什么？我知道我可以做到

DataFrame df = some_df
df.registreTempTable("df");    
df1 = sqlContext.sql("SELECT * FROM df GROUP BY col1 HAVING some stuff")

但是如何使用

之类的语法来完成

df.select(df.col("*")).groupBy(df.col("col1")).having("some stuff")

此.having()似乎不存在。

Answer 1

是的，它不存在。您使用agg后跟where：

表达相同的逻辑

df.groupBy(someExpr).agg(somAgg).where(somePredicate)

Answer 2

例如，如果我要查找每个类别的产品，其费用低于3200，且费用数不得少于10：

SQL查询：

sqlContext.sql("select Category,count(*) as 
count from hadoopexam where HadoopExamFee<3200  
group by Category having count>10")

DataFrames API

from pyspark.sql.functions import *

df.filter(df.HadoopExamFee<3200)
  .groupBy('Category')
  .agg(count('Category').alias('count'))
  .filter(column('count')>10)

Spark - 使用数据框语法进行HAVING分组？

2 个答案: