尝试使用火花聚合功能时无法解析符号

时间:2018-10-23 05:39:41

标签: scala apache-spark intellij-idea apache-spark-sql

我想尝试类似的东西

the picture

但是,我从类似的想法得到警告 enter image description here

我该怎么办?

1 个答案:

答案 0 :(得分:3)

您的导入语句应为import org.apache.spark.sql.functions._

其中._是通配符导入。 org.apache.spark.sql.functions对象定义了要使用的内置标准函数。

然后您可以使用以下功能:

df.groupBy(df("pt")).agg(max("id"), mean("encodedType")).show

您可以在此link

上查看示例