我们如何使用PySpark SQL在几分钟内找到2个时间戳差异?

时间:2019-12-17 12:00:18

标签: apache-spark pyspark apache-spark-sql bigdata pyspark-sql

SQL: DATEDIFF(mi,ClockInUTC_End,ClockInUTC_Snd)TimeinMinutes

我想要在PySpark SQL中替代它。 spark.sql(“”)

1 个答案:

答案 0 :(得分:1)

您可以使用unix_timestamp函数执行此操作,该函数基本上转换为UTC中的UNIX纪元值。请参考下面的代码。

p <- plot_ly(df,y = ~normalized, color = ~etf_id, type = "box",boxpoints = 'suspectedoutliers')
p