定义在Spark中采用Any *参数的Scala udf

时间:2018-07-27 09:11:55

标签: scala apache-spark apache-spark-sql user-defined-functions

我的scala函数连接值列表并对其进行哈希处理。 我想将此功能用于spark数据框。但出现错误:

Failed to execute user defined function(anonfun$2: (string) => string)

这是我的scala函数的定义:

def hash(s: Any*): String = {
}

我注册了这样的功能:

val hashF =  udf[String,Seq[Any]](hash)

我在name列上这样称呼它:

df.withColumn("hash",(hashF(df("name"))))

0 个答案:

没有答案