没有时间段的Unix纪元时间

时间:2018-04-03 09:44:01

标签: pyspark-sql

在我的一个csv文件中,我有一个列,它是unix epoc形式的日期值(所以我认为)。一个示例值是42034。当我使用from_unixtime等函数转换此值时,我得到1970-01-01 11:40:41。我真正期望06-02-2015 00:00:00mm-dd-yyyy。我可以看到该列实际上没有unix epoch值。我猜这个列只有日期信息,没有时间信息。 有没有遇到类似问题并有解决方案?

1 个答案:

答案 0 :(得分:0)

列中的值是从excel文件创建的日期的整数值。所以我最终使用xlrd模块转换为日期。 xlrd.xldate.xldate_as_datetime

import xlrd
from pyspark.sql.functions import udf
def xl_date_convert(d):
    return xlrd.xldate.xldate_as_datetime(changedD,0)