以秒为单位计算持续时间pyspark

Question

我试图以秒为单位计算时差，这是我的尝试，

from datetime import datetime
aa = sc.parallelize[('10:40:31', '10:39:31')]
FMT = "%H:%M:%S"
duration = aa.map(lambda p: (datetime.strptime(p[0], FMT) - datetime.strptime(p[1], FMT) ))

给了我[datetime.timedelta（0,60）] ，但我希望在几秒钟内只有像60这样的差异。

我怎么能这样做，我尝试使用.total_seconds（），但它无法正常工作

Answer 1

解决了这个问题，

我需要再添加一个带有.seconds

的地图

 duration = aa.map(lambda p: (datetime.strptime(p[0], FMT) - datetime.strptime(p[1], FMT) )).map(lambda l: l.seconds)

会给，

  [60]