PySpark:如何将UTC时间戳字段转换为CST(美国/中央),保持时间戳数据类型

时间:2018-12-12 16:32:42

标签: python pyspark timestamp timezone

我在下面设置了以下示例数据。该列的数据类型为timestamp

datetime_utc
2017-03-29T23:20:00Z
2017-04-17T19:00:00Z

我想从UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python Pandas中执行此操作,但不知道如何在Pyspark中执行。

1 个答案:

答案 0 :(得分:1)

在spark数据框中,您可以使用from_utc_timestamp()函数将UTC转换为其他时区。

import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()