我想知道我们是否可以在运行时将Scala中定义的方法转换为Python中的方法。我正在学习Apache Spark Scala API作为我项目的一部分,并寻找一种将Scala方法转换为Python语言可识别格式的方法。 我的目标是将方法从Scala程序发送到外部Python程序,Python程序应该能够使用或执行它。
Scala代码=> LAMBDA
line => line.split(" ")
有没有办法将其转换为Python可以理解的代码。
以上示例绝对是非常基本和天真的。但是可以有任何可能的方法(考虑到Python也有功能支持的通用方法),有没有任何已知的方法来实现相同的方法?我们可以使用序列化来实现相同的目标吗?但Python会理解Scala序列化对象吗?
答案 0 :(得分:0)
是的,你可以在pyspark中使用Scala函数。
首先,在Scala中创建包含代码的Hive UDF。将其打包在jar文件中,在spark执行期间将jar添加到--jars
。然后,在您注册UDF后,您将能够使用它。有关详细信息,请访问此博文:https://dzone.com/articles/working-with-udfs-in-apache-spark