来自Spark的官方文档： “ Spark确实为两种常见的使用模式提供了两种有限类型的共享变量：广播变量和累加器。”
（http://spark.apache.org/docs/1.2.0/programming-guide.html#shared-variables）
但是，“广播变量允许程序员在每台计算机上保留一个只读变量，而不是随副本一起发送它的副本。”
我想要的是“广播读写变量”，（我的意思是：所有工人和司机都可以访问和修改的共享变量！）有办法吗？！谢谢
答案 0 :(得分：5)
您不能完全这样做，因为同步成本太高，不允许每个工作者拥有变量的一致视图。您可以选择使用广播变量，可以根据spark中的操作结果进行修改，也可以在累加器中调用getLocal值，但这只显示对变量进行的本地修改。
使用大量额外资源实现此目的的一种方法是使用外部数据存储，如voldemort，cassandra或Hbase
答案 1 :(得分：0)
与任何map-reduce或MPP应用程序一样，有多个容器/任务，上下文。您了解到，这就像X独立服务器，前面有负载均衡器！
所以，就像网络负载均衡器一样：
这很“有趣”，因为它是一个非常常见的问题，MR，Storm，PIG等......从未真正解决过; - （