Integer,Long或Double类型作为Spark UDF的函数参数

时间:2017-08-24 05:48:54

标签: scala apache-spark spark-dataframe user-defined-functions

我有一个调用Scala函数的简单spark UDF。 Scala功能目前使用' Long'输入如下所示

def someUDF(someList: List[String]) = udf { (inMap: Map[String, Long]) =>
    someFunc[Long](inMap, someList)
  }

由于spark不支持Any类型,有没有办法传递一个可以用于Long,Int或Double类型的泛型类型,而不会创建重复的UDF?

谢谢!

1 个答案:

答案 0 :(得分:0)

我认为你可以定义双重功能。 Long和Int可以直接加倍。