我尝试导入pyspark.sql.functions.from_utc_timestamp(timestamp, tz)
,但它始终显示无效的语法错误。我们如何使用此模块将纪元时间中的值集转换为UTC中的UTC?
答案 0 :(得分:1)
一些示例代码(取自文档,并已修改)以执行您想要的操作:
>>> from pyspark.sql.functions import from_utc_timestamp
>>> df = sqlContext.createDataFrame([('1997-02-28 10:30:00',)], ['t'])
>>> df.select(from_utc_timestamp(df.t, "PST").alias('t')).collect()
[Row(t=datetime.datetime(1997, 2, 28, 2, 30))]