数据

我有一个Spark数据框df，其中有一个日期和一个包含字符串的时间列。时间字符串包含毫秒，如下所示：

+---------+------------+
|date     |time        |
+---------+------------+
|2018/1/2 |09:53:25.864|
|2018/1/3 |11:32:21.689|
|2018/1/4 |09:34:51.045|
+---------+------------+

我尝试过的

我将date和time列连接起来得到date_and_time列（字符串）：

import spark.sql.functions as F

df = df.withColumn('date_and_time', F.concat_ws(' ', df.date, df.time))

df.show(3, False)

输出：

+--------+------------+---------------------+
|date    |time        |date_and_time        |
+--------+------------+---------------------+
|2018/1/2|09:53:25.864|2018/1/2 09:53:25.864|
|2018/1/3|11:32:21.689|2018/1/3 11:32:21.689|
|2018/1/4|09:34:51.045|2018/1/4 09:34:51.045|
+--------+------------+---------------------+

然后，我使用Simple Date Format Date and Time patterns指定了时间戳格式：

timestamp_format = 'yyyy/M/d HH:mm:ss.SSS'

然后，我尝试使用几种不同的方式将此字符串转换为时间戳：

df.select(
    df.date_and_time,
    F.to_timestamp(df.date_and_time, timestamp_format).alias('method_1'),
    F.unix_timestamp(df.date_and_time, format=timestamp_format).cast('timestamp').alias('method_2')
).show(3, False)

如下所示，时间戳缺少毫秒部分：

+---------------------+-------------------+-------------------+
|date_and_time        |method_1           |method_2           |
+---------------------+-------------------+-------------------+
|2018/1/2 09:53:25.864|2018-01-02 09:53:25|2018-01-02 09:53:25|
|2018/1/3 11:32:21.689|2018-01-03 11:32:21|2018-01-03 11:32:21|
|2018/1/4 09:34:51.045|2018-01-04 09:34:51|2018-01-04 09:34:51|
+---------------------+-------------------+-------------------+

将字符串转换为时间戳时如何保留毫秒？

我正在使用PySpark（Spark：2.3.1，Python：3.6.5）。

我看过以前关于SO的回答，但没有找到合适的解决方案。

Answer 1

尽管这是一篇过时的文章，但我认为这可能对人们有用。 https://stackoverflow.com/a/54340652/4383754中的解决方案可能是应该很好扩展的最佳方法。

以防万一，您正在寻找一种更简单的解决方案，可以接受使用python UDF带来的性能下降，这里是一个：

[{'gender': ["Men's"], 'sep': ['help'], 'item_number': ['QWZ5671'], 'cap': ['delp'], 'line': ['QWZ5671'], 'cool_number': ['QWZ5671'], 'price': ['39.5']}]

使用PySpark将日期和时间字符串转换为时间戳时，如何保留毫秒？

数据

我尝试过的

1 个答案: