如何在spark中创建一个可以跨所有节点使用的全局变量

时间:2017-08-18 09:38:53

标签: apache-spark apache-spark-sql spark-dataframe

我需要在火花纱簇中的所有节点上使用变量。 spark中的广播变量是不可变的,在我的情况下没用。 我需要一种支持读写的类似方法。

此致 Sorabh

1 个答案:

答案 0 :(得分:2)

你不能,Spark建立在不变性的原则之上,实际上任何分布式框架都是通过利用不变性的概念来工作的。

这是一个类似的问题和漂亮的解释: How to define a global read\write variables in Spark