;在线程“ main”中的异常org.apache.spark.sql.AnalysisException:窗口函数中不支持表达式'Transaction_Timestamp#54'。

时间:2019-04-13 13:46:49

标签: apache-spark-sql

我想从组窗口中获取第二笔交易。

这是与运行创建数据帧的IntelliJ编辑器一起使用的:

 val txn_RankDF  = txn_Rank.withColumn("Transaction_Timestamp" ,substring($"Transaction_Timestamp",0,23))
        .withColumn("Transaction_Timestamp",unix_timestamp($"Transaction_Timestamp","yyyy-MM-dd' 'HH:mm:ss.SSS").cast(TimestampType))

val sec_Txn_Window = Window.partitionBy("Internal_Member_Id","Transaction_Timestamp").orderBy("Transaction_Timestamp")

 txn_RankDF
.withColumn("Txn_Sec_Timestamp",$"Transaction_Timestamp".over(sec_Txn_Window))  

我希望每组中的每一笔交易都作为输出。

0 个答案:

没有答案