如何在pyspark中将Unicode日期/时间字符串转换为python datetime

Question

我的问题是关于如何在pyspark中将Unicode日期/时间字符串转换为python datetime

我已经在Databricks / AWS环境中使用pyspark编写了一个机器学习程序。除了转换Unicode string (u’4/6/2017 13:25’) to python datetime.之外，我所有的代码都运行良好，我想确定今天和购买日期之间的时间差。

我的代码是：

historicalE = historicalD.withColumn('new_purchase_date', f.date_format(historicalD.purchase_date.cast(dataType=t.TimestampType()), "%m-%d-%YT%H:%MZ"))

运行代码后，“new_purchase_date” = None

我尝试了另一种尝试：

historicalE = historicalD.withColumn('new_purchase_date', datetime.datetime.strptime(historicalD.purchase_date, '%m-%d-%YT%H:%M'))

这引起了must be a string, not a column中断

我已经使用一天的几种解决方案来解决此问题，但没有取得任何进展。 非常感谢您的建议。谢谢。