我尝试了下面的代码,它给了我-55作为上述2个time_stamps之间的差。它应该给我5分钟。是否有任何直接函数可以在pyspark
中获得正确的时差?
import pyspark.sql.functions as F
# ts1 := 2019-11-07T22:00:00.000+0000
# ts2 := 2019-11-07T21:55:00.000+0000
df.withColumn("time_diff", F.minute("time_stamp") - F.minute("time_stamp2"))
没有给我正确答案。请帮忙。
答案 0 :(得分:0)
您可以使用以下功能获取以秒为单位的时差:
from pyspark.sql.functions import *
diff_secs_col = col("time_stamp").cast("long") - col("time_stamp2").cast("long")
然后做一下数学运算即可。
答案 1 :(得分:0)
您可以尝试
Jackson