我在下面设置了以下示例数据。该列的数据类型为timestamp
datetime_utc
2017-03-29T23:20:00Z
2017-04-17T19:00:00Z
我想从UTC(协调世界时)转换为中央标准时间(CST)。我知道如何在Python Pandas中执行此操作,但不知道如何在Pyspark中执行。
答案 0 :(得分:1)
在spark数据框中,您可以使用from_utc_timestamp()
函数将UTC转换为其他时区。
import pyspark.sql.functions as F
df.withColumn('datetime_cst', F.from_utc_timestamp('datetime_utc', 'CST')).show()