在我的pyspark scirpt代码中,我声明了一个Broadcast变量。最后,我想要破坏这个变量,但得到
块引用 AttributeError:'Broadcast'对象没有属性'destroy'
我的代码是这样的:
br = sc.broadcast(my_value)
rdd.map(__my_map_function) # __my_map_function() used br variable
br.destroy()
我的spark版本是1.6.1,我知道BroadCast类有destroy()方法,但为什么代码抛出这个异常?感谢。