我有一个非常简单的问题,找不到一个简单的答案:我想将Pyspark DataFrame中的列类型从字符串转换为日期,该怎么做?
我尝试了以下操作:
df.withColumn('dates', datetime.strpdate(col('date'), %Y%m%d))
和
df.withColumn('dates', datetime.strpdate(df.date, %Y%m%d))
但是在每种情况下,我都会收到以下错误: TypeError:strptime()参数1必须是str,而不是Column。
因此,显然col('date')
和df.date
被解释为列,而不是保留的字符串。我该如何解决?
答案 0 :(得分:4)
如果格式为“ yyyy-MM-dd”,则可以使用“ cast”函数将字符串列转换为日期,或者可以使用“ to_date”函数,该函数是更通用的函数也可以指定输入格式。
这是示例代码。
# Create DaraFrame
df = spark.createDataFrame([(1, "2020-06-03", "2020/06/03"), (2, "2020-05-01", "2020/05/01")] , ["id", "date_fmt_1", "date_fmt_2"])
# Convert the string columne to date.
df1 = (df
# approach - 1: use cast function if the format is "yyyy-MM-dd"
.withColumn("date_1", df["date_fmt_1"].cast("date"))
# Approach - 2 : use to_date function and specify the input format. "yyyy/MM/dd" in our case
.withColumn("date_2", to_date("date_fmt_2", "yyyy/MM/dd"))
# If you don't specify any format, it will take spark default format "yyyy-MM-dd"
.withColumn("date_3", to_date(df["date_fmt_1"])))
# Print the schema
df1.printSchema()
root
|-- id: long (nullable = true)
|-- date_fmt_1: string (nullable = true)
|-- date_fmt_2: string (nullable = true)
|-- date_1: date (nullable = true)
|-- date_2: date (nullable = true)
|-- date_3: date (nullable = true)
df1.show()
+---+----------+----------+----------+----------+----------+
| id|date_fmt_1|date_fmt_2| date_1| date_2| date_3|
+---+----------+----------+----------+----------+----------+
| 1|2020-06-03|2020/06/03|2020-06-03|2020-06-03|2020-06-03|
| 2|2020-05-01|2020/05/01|2020-05-01|2020-05-01|2020-05-01|
+---+----------+----------+----------+----------+----------+
有关Spark的DateTime函数的更多信息,请访问以下博客:https://medium.com/expedia-group-tech/deep-dive-into-apache-spark-datetime-functions-b66de737950a
我希望这会有所帮助。