我们假设我有一个像这样的数据结构,其中ts是一些时间戳
case class Record(ts: Long, id: Int, value: Int)
鉴于大量这些记录,我希望最终得到每个id具有最高时间戳的记录。使用RDD api我认为以下代码完成了工作:
def findLatest(records: RDD[Record])(implicit spark: SparkSession) = {
records.keyBy(_.id).reduceByKey{
(x, y) => if(x.ts > y.ts) x else y
}.values
}
同样,这是我对数据集的尝试:
def findLatest(records: Dataset[Record])(implicit spark: SparkSession) = {
records.groupByKey(_.id).mapGroups{
case(id, records) => {
records.reduceLeft((x,y) => if (x.ts > y.ts) x else y)
}
}
}
我正试图弄清楚如何使用数据框来实现类似的东西,但无济于事 - 我意识到我可以用以下方式进行分组:
records.groupBy($"id")
但是这给了我一个RelationGroupedDataSet,我不清楚我需要编写哪些聚合函数来实现我想要的 - 所有我见过的示例聚合似乎都只关注返回一个列聚集而不是整行。
是否可以使用数据框来实现这一目标?
答案 0 :(得分:10)
您可以使用argmax逻辑(请参阅databricks example)
例如,假设您的数据框名为df,并且它具有列id,val,ts,您可以执行以下操作:
import org.apache.spark.sql.functions._
val newDF = df.groupBy('id).agg.max(struct('ts, 'val)) as 'tmp).select($"id", $"tmp.*")
答案 1 :(得分:0)
对于数据集,我做了这个,在Spark 2.1.1上测试
final case class AggregateResultModel(id: String,
mtype: String,
healthScore: Int,
mortality: Float,
reimbursement: Float)
.....
.....
// assume that the rawScores are loaded behorehand from json,csv files
val groupedResultSet = rawScores.as[AggregateResultModel].groupByKey( item => (item.id,item.mtype ))
.reduceGroups( (x,y) => getMinHealthScore(x,y)).map(_._2)
// the binary function used in the reduceGroups
def getMinHealthScore(x : AggregateResultModel, y : AggregateResultModel): AggregateResultModel = {
// complex logic for deciding between which row to keep
if (x.healthScore > y.healthScore) { return y }
else if (x.healthScore < y.healthScore) { return x }
else {
if (x.mortality < y.mortality) { return y }
else if (x.mortality > y.mortality) { return x }
else {
if(x.reimbursement < y.reimbursement)
return x
else
return y
}
}
}