PySpark将小于2148的时间戳转换为null

Question

以下代码生成正确的输出：

import datetime, pytz
sc.parallelize([[datetime.datetime.utcfromtimestamp(2148)]]).toDF().take(1)[0][0]

output: datetime.datetime(1970, 1, 1, 0, 35, 48)

将时间戳减少到2148以下会导致null / None：

sc.parallelize([[datetime.datetime.utcfromtimestamp(2147)]]).toDF().take(1)[0][0]

output: None

这里发生了什么？

Answer 1

这是一个pyspark错误，将在2.1.1和2.2.0版本中解决。有关详细信息，请参阅https://issues.apache.org/jira/browse/SPARK-19561