Spark：重写.filter（“ count> 1”），不使用字符串表达式

Question

Java中有一段代码：

Dataset<Row> dataset = ...
...
dataset.groupBy("id").count().filter("count > 1");

是否可以使用某些数据框方法（例如"count > 1"）来设置filter(count().gt(1))条件？

Answer 1

函数“ col”具有比较方法，可以使用它们：

import static org.apache.spark.sql.functions.*;
ds.filter(col("count").$greater(lit(1)))