Python-Spark-RDD日期转换

时间:2018-12-10 10:41:06

标签: python apache-spark datetime pyspark rdd

是否可以在日期时间转换RDD元素而无需将RDD转换为DataFrame?

我正在尝试很多方法,但是我并不幸运...

some

有办法吗?

谢谢!

1 个答案:

答案 0 :(得分:0)

sortBy只能更改RDD中元素的顺序,而不能更改它们的内容。为了实际获取任何日期时间转换函数的返回值,您必须使用map代替:

data.map(lambda l: datetime(l[-2])).collect()