Spark SQL:如何在复杂条件下使用滞后函数?

时间:2019-02-14 13:30:50

标签: java apache-spark apache-spark-sql

我有此要求将当前行的时间戳与数据帧的前一行进行比较。可以使用类似的方法完成:

WindowSpec w = Window.partitionBy(columnSeq).orderBy("timestamp");

//lag function
sortedData.withColumn("difference", functions.lag("timestamp", 1).over(w), 0);

仅当差异大于60秒时,new_entry列的值才为true。

是否可以使用滞后功能?

0 个答案:

没有答案