Spark Streaming是否支持共享变量？

Question

Spark为两种常见的使用模式提供了两种有限类型的共享变量：广播变量和累加器，它们是否在Spark Streaming中受支持？

Answer 1

是的，您可以像通常SparkContext那样使用它们。唯一的区别是你需要从SparkStreamingContext获得它：

val sparkConf = new SparkConf().setAppName("MyApp")
val ssc = new StreamingContext(sparkConf, Seconds(1))
ssc.sparkContext.broadcast(myValue)

使用spark streaming您可能希望在某个时刻更新该值，为此，您应该使用unpersist()（或阻止版本）并再次广播。