给定一个以纳秒为单位的unix时间戳,你如何转换为与spark兼容的格式?
如果答案是UDF(Spark用户定义函数),那将会很有帮助。
https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions $
https://github.com/mozilla-services/heka/blob/dev/message/message.proto#L42
答案 0 :(得分:0)
似乎这样有效:
" SELECT cast(t.TIMESTAMP / 1000000000 as timestamp)FROM TABLE t"
t.TIMESTAMP是一个大型的int,时间戳是一种类型