标签: pyspark
有一种方法可以在pyspark中保留用户定义函数中的状态吗? 我需要创建一个缓存(一个简单的地图可能是一个字典)。
也许在函数中使用sc._conf.getAll(),或者使用临时表?
sc._conf.getAll()