标签: apache-spark apache-spark-sql spark-dataframe
我需要在火花纱簇中的所有节点上使用变量。 spark中的广播变量是不可变的,在我的情况下没用。 我需要一种支持读写的类似方法。
此致 Sorabh
答案 0 :(得分:2)
你不能,Spark建立在不变性的原则之上,实际上任何分布式框架都是通过利用不变性的概念来工作的。
这是一个类似的问题和漂亮的解释: How to define a global read\write variables in Spark