pyspark:将字符串转换为日期格式,不带分钟,解码和小时

时间:2019-10-21 13:59:46

标签: pyspark

您好,我想将字符串日期转换为日期格式: 例如从190424到2019-01-24 我尝试使用此代码:

tx_wd_df = tx_wd_df.select(
    'dateTransmission', 
    from_unixtime(unix_timestamp('dateTransmission', 'yymmdd')).alias('dateTransmissionDATE')
)

但是我得到了这种格式:2019-01-24 00:04:00 我只想要2019-01-24 有什么想法吗?

谢谢

tx_wd_df.show(truncate=False)

1 个答案:

答案 0 :(得分:0)

您可以简单地使用to_date()。这将舍弃其余日期,并仅选择与输入日期格式字符串匹配的格式。

import pyspark.sql.functions as F

date_column = "dateTransmission"
# MM because mm in Java Simple Date Format is minutes, and MM is months
date_format = "yyMMdd"
df = df.withColumn(date_column, F.to_date(F.col(date_column), date_format))