如何计算用户会话的开始和结束时间?

时间:2017-12-15 19:07:40

标签: apache-spark apache-spark-sql

是否有推荐的方法来进行以下类型的转换:
输入:

userID  timestamp  action  
u1      100        edit1
u1      122        edit2
u1      135        edit3
u2      143        edit4
u2      158        edit5
u1      212        edit6
u1      241        edit7

输出:

userID  startTime  endTime  actions
u1      100        135      [edit1, edit2, edit3]
u2      143        158      [edit4, edit5]
u1      212        241      [edit6, edit7]

按userID分组会导致会话信息丢失。与使用Window函数相同。

为清晰起见编辑: 在这种情况下,请注意用户u1在结果集中出现2次。用户u2的操作将u1的操作分解为两个会话。

1 个答案:

答案 0 :(得分:1)

使用好的ol'汇总所有列。 SQL:

SELECT userID min(timestamp), max(timestamp), collect_list(actions)
FROM df GROUP BY userID

或数据集API:

df.groupBy("userID").agg(
    min("timestamp") as "startTime",
    max("timestamp") as "endTime",
    collect_list("actions") as "actions")