是否可以将Scala方法转换为python方法

时间:2017-10-19 15:47:27

标签: python scala apache-spark serialization pyspark

我想知道我们是否可以在运行时将Scala中定义的方法转换为Python中的方法。我正在学习Apache Spark Scala API作为我项目的一部分,并寻找一种将Scala方法转换为Python语言可识别格式的方法。 我的目标是将方法从Scala程序发送到外部Python程序,Python程序应该能够使用或执行它。

Scala代码=> LAMBDA

line => line.split(" ")

有没有办法将其转换为Python可以理解的代码。

以上示例绝对是非常基本和天真的。但是可以有任何可能的方法(考虑到Python也有功能支持的通用方法),有没有任何已知的方法来实现相同的方法?我们可以使用序列化来实现相同的目标吗?但Python会理解Scala序列化对象吗?

1 个答案:

答案 0 :(得分:0)

是的,你可以在pyspark中使用Scala函数。

首先,在Scala中创建包含代码的Hive UDF。将其打包在jar文件中,在spark执行期间将jar添加到--jars。然后,在您注册UDF后,您将能够使用它。有关详细信息,请访问此博文:https://dzone.com/articles/working-with-udfs-in-apache-spark