如何在Databricks的pyspark中使用Scala udf

时间:2019-05-28 08:45:03

标签: python python-3.x scala pyspark databricks

我创建了一个用户定义的函数,该函数将在Databricks中使用scala返回字符串。我已经在spark中注册。我想在Python代码中使用该scala udf(不使用sql)。我尝试了以下代码,但是我我收到错误作为未定义的功能。有人可以在这个问题上帮助我在pyspark中使用scala udf吗? 预先感谢

%scala
def GetStr(st_char:String) :String = {
   println(st_char)
   return st_char
}

val str1=spark.udf.register("GetString", GetStr _)

%python
from pyspark.sql.functions import *
from pyspark.sql.types import StringType,BooleanType,DateType,TimestampType
str1="abcd"
str2=GetStr(str1)
print("first string: ",str2)

0 个答案:

没有答案