将时间戳列转换为timeuuid

时间:2019-05-02 08:29:26

标签: scala apache-spark

要转换timestamp中的timeuuid列,这是我的spark数据帧(从cassandra导入的csv文件):

scala> newDF.printSchema
root
 |-- eventID: string (nullable = true)
 |-- userID: string (nullable = true)
 |-- timestamp: string (nullable = true)
 |-- sessionID: string (nullable = true)
 |-- fullJson: string (nullable = true)

我只需将新列投射到event_date即可创建新列DateType

val finalDF = newDF.withColumn("event_date", helpFrame("timestamp").cast(DateType))

是否可以使用timestamptimeuuid列转换为com.datastax.driver.core.utils.UUIDs

在其他(Java)应用中,我设法做到了:

Date date = new Date();
UUID uuid2 = new UUID(UUIDs.startOf(date.getTime()).getMostSignificantBits(), random.nextLong());

想知道如何在Spark shell中简单地完成

0 个答案:

没有答案