字符串列可以很容易地转换为时间戳列,但事实并非如此。这对我来说没有意义。有什么理由吗?
在我的pyspark应用程序中,我有一个String列,其中包含格式化的时间戳记。使用列类型上的pyspark cast函数可以轻松将数据转换为时间戳。但是,事实并非如此。看起来,将时间戳转换为字符串只会返回包含空值的列。
例如以下作品
df.withColumn("string_col", df[column_name].cast(TimestampType()))
但这不是:
df.withColumn("timestamp_col", df[column_name].cast(StringType()))
我是否可以做些什么使它按我的意愿工作?不幸的是,我正在开发的应用程序的设计使使用格式字符串有点痛苦(不要问为什么!),所以我想尽可能避免使用它们。