在SparkSQL中将特定的字符串格式转换为日期

Question

我有一列，其中包含带有以下日期的字符串作为字符串Sat Sep 14 09:54:30 UTC 2019。完全不熟悉格式。

我需要转换为日期或时间戳。我可以比较的一个单位。我只需要一个精度为一天的比较点即可。

Answer 1

这可以帮助您从字符串中获取时间戳，然后使用Spark SQL（2.x）从中获取时间戳

spark.sql("""SELECT from_utc_timestamp(from_unixtime(unix_timestamp("Sat Sep 14 09:54:30 UTC 2019","EEE MMM dd HH:mm:ss zzz yyyy") ),"IST")as timestamp""").show()

+-------------------+
|          timestamp|
+-------------------+
|2019-09-14 20:54:30|
+-------------------+