Question

我有一个包含两个日期列的数据框。现在我需要得到差异，结果应该是秒

UNIX_TIMESTAMP(SUBSTR(date1, 1, 19)) - UNIX_TIMESTAMP(SUBSTR(date2, 1, 19)) AS delta

我试图使用scala

转换为数据帧查询的hive查询

df.select(col("date").substr(1,19)-col("poll_date").substr(1,19))

从这里我无法转换成秒，任何身体都可以帮忙。谢谢提前

Answer 1

使用DataFrame API，只需在unix_timestamp中从另一列中减去一列，即可以秒为单位计算日期差异：

val df = Seq(
  ("2018-03-05 09:00:00", "2018-03-05 09:01:30"),
  ("2018-03-06 08:30:00", "2018-03-08 15:00:15")
).toDF("date1", "date2")

df.withColumn("tsdiff", unix_timestamp($"date2") - unix_timestamp($"date1")).
  show

// +-------------------+-------------------+------+
// |              date1|              date2|tsdiff|
// +-------------------+-------------------+------+
// |2018-03-05 09:00:00|2018-03-05 09:01:30|    90|
// |2018-03-06 08:30:00|2018-03-08 15:00:15|196215|
// +-------------------+-------------------+------+

如果需要，您也可以在Spark SQL中执行计算：

df.createOrReplaceTempView("dfview")

spark.sql("""
  select date1, date2, (unix_timestamp(date2) - unix_timestamp(date1)) as tsdiff
  from dfview
""")

从数据框中的列获取日期差异并获得秒数--Spark scala

1 个答案: