在Spark中转换dd-MMM-yy日期格式

Question

我有一个Spark数据框（Scala API），其中包含一个名为transfer date的列，日期格式为string，格式为24-JUL-17。

我想将日期字符串转换为时间戳。我该怎么做？

Answer 1

也可以使用to_timestamp(date_col, expr)

完成

import org.apache.spark.sql.functions.to_timestamp

val df = date.withColumn("ts", to_timestamp($"transfer date", "dd-MMM-yy"))

df 中的 ts 列属于timestamp类型。

Answer 2

我找到了它：

import org.apache.spark.sql.functions.unix_timestamp

val ts = unix_timestamp($"transfer date", "dd-MMM-yy").cast("timestamp")
dfs.withColumn("ts",ts).show()