我有一个调用Scala函数的简单spark UDF。 Scala功能目前使用' Long'输入如下所示
def someUDF(someList: List[String]) = udf { (inMap: Map[String, Long]) =>
someFunc[Long](inMap, someList)
}
由于spark不支持Any类型,有没有办法传递一个可以用于Long,Int或Double类型的泛型类型,而不会创建重复的UDF?
谢谢!
答案 0 :(得分:0)
我认为你可以定义双重功能。 Long和Int可以直接加倍。