为什么我不能将pyspark Timestamp列强制转换为String

时间:2019-07-12 22:19:11

标签: pyspark-sql

字符串列可以很容易地转换为时间戳列,但事实并非如此。这对我来说没有意义。有什么理由吗?

在我的pyspark应用程序中,我有一个String列,其中包含格式化的时间戳记。使用列类型上的pyspark cast函数可以轻松将数据转换为时间戳。但是,事实并非如此。看起来,将时间戳转换为字符串只会返回包含空值的列。

例如以下作品

df.withColumn("string_col", df[column_name].cast(TimestampType()))

但这不是:

df.withColumn("timestamp_col", df[column_name].cast(StringType()))

我是否可以做些什么使它按我的意愿工作?不幸的是,我正在开发的应用程序的设计使使用格式字符串有点痛苦(不要问为什么!),所以我想尽可能避免使用它们。

0 个答案:

没有答案