Pyspark添加将现有javascript utc列转换为字符串的列

Question

我有一个包含存储utc（javascript时间戳，名为utc）的列的数据框，我正在尝试添加一个列，其中utc存储为可读字符串。

from datetime import datetime
panel_json = panel_json.withColumn('timestamp', datetime.utcfromtimestamp(panel_json.utc/1000.0).strftime('%Y-%m-%dT%H:%M:%SZ') )

但是我做的任何尝试都给了我

  

TypeError：需要浮点数

我也尝试将float放在panel_json.utc

周围

datetime.utcfromtimestamp(float(panel_json.utc)/1000.0).strftime('%Y-%m-%dT%H:%M:%SZ') )

还有其他一些尝试引用，删除panel_json等...但我无法使它工作。有什么想法吗？

由于

Answer 1

Python库不能以这种方式使用。您可以为该格式创建UDF，或者 - 更快 - 让pyspark date_format内置的udf完成工作。