如何在pyspark中保留UDF中的状态?

时间:2018-03-28 12:53:00

标签: pyspark

有一种方法可以在pyspark中保留用户定义函数中的状态吗? 我需要创建一个缓存(一个简单的地图可能是一个字典)。

也许在函数中使用sc._conf.getAll(),或者使用临时表?

0 个答案:

没有答案