如何在DataFrames中将列类型从String更改为Date？

Question

我有一个数据框有两列（C，D）被定义为字符串列类型，但列中的数据实际上是日期。例如，列C的日期为＆＃34; 01-APR-2015＆＃34;和列D为＆＃34; 20150401＆＃34;我想将这些更改为日期列类型，但我没有找到一个好方法。我看一下我需要在Spark SQL的DataFrame中将字符串列类型转换为Date列类型的堆栈溢出。日期格式可以是＆＃34; 01-APR-2015＆＃34;我看this post但它没有与日期有关的信息

Answer 1

Spark＆gt; = 2.2

您可以使用to_date：

import org.apache.spark.sql.functions.{to_date, to_timestamp}

df.select(to_date($"ts", "dd-MMM-yyyy").alias("date"))

或to_timestamp：

df.select(to_date($"ts", "dd-MMM-yyyy").alias("timestamp"))

中间unix_timestamp来电。

Spark＆lt; 2.2

从Spark 1.5开始，您可以使用unix_timestamp函数将字符串解析为long，将其转换为时间戳并截断to_date：

import org.apache.spark.sql.functions.{unix_timestamp, to_date}

val df = Seq((1L, "01-APR-2015")).toDF("id", "ts")

df.select(to_date(unix_timestamp(
  $"ts", "dd-MMM-yyyy"
).cast("timestamp")).alias("timestamp"))

注意：

根据Spark版本，您可能需要根据SPARK-11724进行一些调整：

  

从整数类型转换为时间戳将源int视为以毫秒为单位。从时间戳转换为整数类型会在几秒钟内创建结果。

如果使用未修补的版本unix_timestamp，则输出需要乘以1000。