Question

我有一列以datetime.datetime对象为内容。我正在尝试使用pyspark.sql.Window功能，该功能需要数字类型，而不是日期时间或字符串。因此，我的计划是将datetime.datetime对象转换为UNIX时间戳：

设置：

>>> import datetime; df = sqlContext.createDataFrame(
... [(datetime.datetime(2018, 1, 17, 19, 0, 15),),
... (datetime.datetime(2018, 1, 17, 19, 0, 16),)], ['dt'])
>>> df
DataFrame[dt: timestamp]
>>> df.dtypes
[('dt', 'timestamp')]
>>> df.show(5, False)
+---------------------+
|dt                   |
+---------------------+
|2018-01-17 19:00:15.0|
|2018-01-17 19:00:16.0|
+---------------------+

定义一个函数来访问timestamp对象的datetime.datetime函数：

def dt_to_timestamp():
    def _dt_to_timestamp(dt):
        return int(dt.timestamp() * 1000)
    return func.udf(_dt_to_timestamp)

应用该功能：

>>> df = df.withColumn('dt_ts', dt_to_timestamp()(func.col('dt')))
>>> df.show(5, False)
+---------------------+-------------+
|dt                   |dt_ts        |
+---------------------+-------------+
|2018-01-17 19:00:15.0|1516237215000|
|2018-01-17 19:00:16.0|1516237216000|
+---------------------+-------------+

>>> df.dtypes
[('dt', 'timestamp'), ('dt_ts', 'string')]

我不确定内部string函数返回_dt_to_timestamp时为什么此列默认为int，但让我们尝试将这些“字符串整数”转换为{{1 }}：

IntegerType

这似乎只是>>> df = df.withColumn('dt_ts', func.col('dt_ts').cast(IntegerType())) >>> df.show(5, False) +---------------------+-----+ |dt |dt_ts| +---------------------+-----+ |2018-01-17 19:00:15.0|null | |2018-01-17 19:00:16.0|null | +---------------------+-----+ >>> df.dtypes [('dt', 'timestamp'), ('dt_ts', 'int')]强制的问题。对于IntegerType，转换有效，但我更喜欢整数...

DoubleType

Answer 1

这是因为IntegerType无法存储与您尝试转换的数字一样大的数字。请改用bigint/long类型：

>>> df = df.withColumn('dt_ts', dt_to_timestamp()(func.col('dt')))
>>> df.show()
+--------------------+-------------+
|                  dt|        dt_ts|
+--------------------+-------------+
|2018-01-17 19:00:...|1516237215000|
|2018-01-17 19:00:...|1516237216000|
+--------------------+-------------+

>>> df = df.withColumn('dt_ts', func.col('dt_ts').cast('long'))
>>> df.show()
+--------------------+-------------+
|                  dt|        dt_ts|
+--------------------+-------------+
|2018-01-17 19:00:...|1516237215000|
|2018-01-17 19:00:...|1516237216000|
+--------------------+-------------+

>>> df.dtypes
[('dt', 'timestamp'), ('dt_ts', 'bigint')]

PySpark：将“字符串整数”列转换为IntegerType

1 个答案: