标签： apache-spark view user-defined-functions permanent
我想在其他会话或视图中使用udf，是否可以注册以Python或scala编写的永久Spark UDF？
答案 0 :(得分：2)
你不能。 Spark没有与资源管理器（Yarn / Kubernetes / Mesos）进行通信的“服务器”，并且在每次作业时都会重新部署自己。您要么需要将代码作为您提交的软件包的一部分，要么放在工作中包含的jar / zip文件的预包装中。在这两种情况下，您都需要注册udfs。