要转换timestamp
中的timeuuid
列,这是我的spark
数据帧(从cassandra
导入的csv文件):
scala> newDF.printSchema
root
|-- eventID: string (nullable = true)
|-- userID: string (nullable = true)
|-- timestamp: string (nullable = true)
|-- sessionID: string (nullable = true)
|-- fullJson: string (nullable = true)
我只需将新列投射到event_date
即可创建新列DateType
:
val finalDF = newDF.withColumn("event_date", helpFrame("timestamp").cast(DateType))
是否可以使用timestamp
将timeuuid
列转换为com.datastax.driver.core.utils.UUIDs
。
在其他(Java
)应用中,我设法做到了:
Date date = new Date();
UUID uuid2 = new UUID(UUIDs.startOf(date.getTime()).getMostSignificantBits(), random.nextLong());
想知道如何在Spark shell
中简单地完成