我正在使用 Spark 2.3 并且我已经阅读 here 说它不支持时间戳毫秒(仅在 2.4+ 中),但我正在寻找关于如何做我需要做的事情的想法。
我正在处理的数据将日期作为字符串数据类型存储在 Parquet 文件中,格式如下:2021-07-09T01:41:58Z
我需要从中减去一毫秒。如果是 Spark 2.4,我想我可以这样做:
to_timestamp(col("sourceStartTimestamp")) - expr("INTERVAL 0.001 SECONDS")
但由于它是 Spark 2.3,所以没有任何作用。我确认它可以减去 1 秒,但它会忽略任何小于 1 秒的值。
有人可以建议如何在 Spark 2.3 中执行此操作的解决方法吗?最终,如果有任何区别,结果将需要是 String 数据类型。
答案 0 :(得分:1)
由于 Spark 2.3(或更低版本)不支持毫秒时间戳,请考虑使用带有 delta 毫秒和日期格式的 UDF 来使用 java.time
的 plusNanos()
:
def getMillisTS(delta: Long, fmt: String = "yyyy-MM-dd HH:mm:ss.SSS") = udf{
(ts: java.sql.Timestamp) =>
import java.time.format.DateTimeFormatter
ts.toLocalDateTime.plusNanos(delta * 1000000).format(DateTimeFormatter.ofPattern(fmt))
}
测试运行 UDF:
val df = Seq("2021-01-01 00:00:00", "2021-02-15 12:30:00").toDF("ts")
df.withColumn("millisTS", getMillisTS(-1)($"ts")).show(false)
/*
+-------------------+-----------------------+
|ts |millisTS |
+-------------------+-----------------------+
|2021-01-01 00:00:00|2020-12-31 23:59:59.999|
|2021-02-15 12:30:00|2021-02-15 12:29:59.999|
+-------------------+-----------------------+
*/
df.withColumn("millisTS", getMillisTS(5000)($"ts")).show(false)
/*
+-------------------+-----------------------+
|ts |millisTS |
+-------------------+-----------------------+
|2021-01-01 00:00:00|2021-01-01 00:00:05.000|
|2021-02-15 12:30:00|2021-02-15 12:30:05.000|
+-------------------+-----------------------+
*/
val df = Seq("2021-01-01T00:00:00Z", "2021-02-15T12:30:00Z").toDF("ts")
df.withColumn(
"millisTS",
getMillisTS(-1, "yyyy-MM-dd'T'HH:mm:ss.SSS'Z'")(to_timestamp($"ts", "yyyy-MM-dd'T'HH:mm:ss'Z'"))
).show(false)
/*
+-------------------+------------------------+
|ts |millisTS |
+-------------------+------------------------+
|2021-01-01 00:00:00|2020-12-31T23:59:59.999Z|
|2021-02-15 12:30:00|2021-02-15T12:29:59.999Z|
+-------------------+------------------------+
*/