将pyspark数据框的字符串列(JAN 2018)转换为日期列(01-01-2018)

时间:2019-09-17 09:49:38

标签: python sql datetime pyspark user-defined-functions

我正在尝试使用下面提供的udf函数将字符串类型列转换为日期类型列

示例输入列值: 2018年1月

预期输出值: 2018年1月1日

这是我的代码

from datetime import datetime

from pyspark.sql.types import DateType

squared_udf = udf(lambda z: datetime.strptime(z,'%b %Y').strftime('%Y-%m-%d'), DateType())

df = df.select('TIME PERIOD', squared_udf('TIME PERIOD'))

我的代码输出:

DataFrame [时间段:字符串,(时间段):日期]

但是我希望spark数据帧更新为TIME PERIOD列

请在同一位置提出建议。

0 个答案:

没有答案