如何在Spark SQL（DataFrame）的UDF中使用常量值

Question

我有一个包含timestamp的数据框。要按时间（分钟，小时或天）汇总，我尝试过：

val toSegment = udf((timestamp: String) => {
  val asLong = timestamp.toLong
  asLong - asLong % 3600000 // period = 1 hour
})

val df: DataFrame // the dataframe
df.groupBy(toSegment($"timestamp")).count()

这很好用。

我的问题是如何将UDF toSegment概括为

val toSegmentGeneralized = udf((timestamp: String, period: Int) => {
  val asLong = timestamp.toLong
  asLong - asLong % period
})

我尝试过如下但不起作用

df.groupBy(toSegment($"timestamp", $"3600000")).count()

似乎找到了名为3600000的列。

可能的解决方案是使用常量列，但我找不到它。

Answer 1

您可以使用org.apache.spark.sql.functions.lit()创建常量列：

import org.apache.spark.sql.functions._

df.groupBy(toSegment($"timestamp", lit(3600000))).count()