标签: apache-spark-sql user-defined-functions
我知道可以从PySpark调用用Python编写的UDF。
我需要从基于Scala的Spark代码中调用用Python编写的UDF。这主要是因为我有一个遗留的Python代码,需要一些时间才能移植到Scala。是否可以从基于Scala的Spark代码(特别是SparkSQL)中调用基于Python的UDF或以任何方式实现此目的?