在我的一个csv文件中,我有一个列,它是unix epoc形式的日期值(所以我认为)。一个示例值是42034
。当我使用from_unixtime
等函数转换此值时,我得到1970-01-01 11:40:41
。我真正期望06-02-2015 00:00:00
为mm-dd-yyyy
。我可以看到该列实际上没有unix epoch值。我猜这个列只有日期信息,没有时间信息。
有没有遇到类似问题并有解决方案?
答案 0 :(得分:0)
列中的值是从excel文件创建的日期的整数值。所以我最终使用xlrd模块转换为日期。 xlrd.xldate.xldate_as_datetime
。
import xlrd
from pyspark.sql.functions import udf
def xl_date_convert(d):
return xlrd.xldate.xldate_as_datetime(changedD,0)