我有此要求将当前行的时间戳与数据帧的前一行进行比较。可以使用类似的方法完成:
WindowSpec w = Window.partitionBy(columnSeq).orderBy("timestamp");
//lag function
sortedData.withColumn("difference", functions.lag("timestamp", 1).over(w), 0);
仅当差异大于60秒时,new_entry
列的值才为true。
是否可以使用滞后功能?