是否有推荐的方法来进行以下类型的转换:
输入:
userID timestamp action
u1 100 edit1
u1 122 edit2
u1 135 edit3
u2 143 edit4
u2 158 edit5
u1 212 edit6
u1 241 edit7
输出:
userID startTime endTime actions
u1 100 135 [edit1, edit2, edit3]
u2 143 158 [edit4, edit5]
u1 212 241 [edit6, edit7]
按userID分组会导致会话信息丢失。与使用Window函数相同。
为清晰起见编辑: 在这种情况下,请注意用户u1在结果集中出现2次。用户u2的操作将u1的操作分解为两个会话。
答案 0 :(得分:1)
使用好的ol'汇总所有列。 SQL:
SELECT userID min(timestamp), max(timestamp), collect_list(actions)
FROM df GROUP BY userID
或数据集API:
df.groupBy("userID").agg(
min("timestamp") as "startTime",
max("timestamp") as "endTime",
collect_list("actions") as "actions")