我正在尝试使用下面提供的udf函数将字符串类型列转换为日期类型列
示例输入列值: 2018年1月
预期输出值: 2018年1月1日
这是我的代码
from datetime import datetime
from pyspark.sql.types import DateType
squared_udf = udf(lambda z: datetime.strptime(z,'%b %Y').strftime('%Y-%m-%d'), DateType())
df = df.select('TIME PERIOD', squared_udf('TIME PERIOD'))
我的代码输出:
DataFrame [时间段:字符串,(时间段):日期]
但是我希望spark数据帧更新为TIME PERIOD列
请在同一位置提出建议。