Spark UDF类型不匹配错误

Question

我试图编写一个UDF来将时间戳转换为表示一周中小时的整数。我很容易用这样的SparkSql来完成这个。

我的代码中有很多UDF，语法确切，但是这个尝试了类型不匹配错误。我也尝试用col("session_ts_start")调用我的UDF，但也无法工作。

import spark.implicits._
import java.sql.Timestamp
import org.apache.spark.sql.functions._

def getHourOfWeek() = udf(
    (ts: Timestamp) => unix_timestamp(ts)
)

val dDF = df.withColumn("hour", getHourOfWeek()(df("session_ts_start")))
dDF.show()

<console>:154: error: type mismatch;
 found   : java.sql.Timestamp
 required: org.apache.spark.sql.Column
           (ts: Timestamp) => unix_timestamp(ts)

Answer 1

unix_timestamp是一个SQL函数。它operates on Columns不是外部值：

def unix_timestamp(s: Column): Column 

，它不能在UDF中使用。

  

我正在尝试（...）将时间戳转换为表示一周中小时的整数

import org.apache.spark.sql.Column
import org.apache.spark.sql.functions.{date_format, hour}

def getHourOfWeek(c: Column) =
  // https://docs.oracle.com/javase/8/docs/api/java/text/SimpleDateFormat.html
  (date_format(c, "u").cast("integer") - 1) * 24 + hour(c)

val df = Seq("2017-03-07 01:00:00").toDF("ts").select($"ts".cast("timestamp"))

df.select(getHourOfWeek($"ts").alias("hour")).show

+----+
|hour|
+----+
|  25|
+----+

另一种可能的解决方案：

import org.apache.spark.sql.functions.{next_day, date_sub}

def getHourOfWeek2(c: Column) = ((
  c.cast("bigint") - 
  date_sub(next_day(c, "Mon"), 7).cast("timestamp").cast("bigint")
) / 3600).cast("int")

df.select(getHourOfWeek2($"ts").alias("hour"))

+----+
|hour|
+----+
|  25|
+----+

注意：两种解决方案都不会处理夏令时或其他日期/时间细微差别。