将Golang unix时间戳转换为Spark SQL格式

时间:2016-05-29 09:47:40

标签: apache-spark

给定一个以纳秒为单位的unix时间戳,你如何转换为与spark兼容的格式?

如果答案是UDF(Spark用户定义函数),那将会很有帮助。

https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions $

https://github.com/mozilla-services/heka/blob/dev/message/message.proto#L42

1 个答案:

答案 0 :(得分:0)

似乎这样有效:

" SELECT cast(t.TIMESTAMP / 1000000000 as timestamp)FROM TABLE t"

t.TIMESTAMP是一个大型的int,时间戳是一种类型