Spark:为什么我的累加器以非确定的方式工作?

时间:2016-04-23 17:59:42

标签: scala apache-spark

我的累加器是不确定的。如果我运行代码

val acc0 = sc.accumulator(0L)

sc.range(0, 20000, step = 25).foreach { l => acc0 += 1 }

println(acc0.value)

我每次都得到不同的价值观。这是我的Spark配置

val SparkConf = new SparkConf()
    .setAppName("SparkDemoApp")
    .setMaster("local[4]")
    .set("spark.executor.memory", "1g")
    .set("spark.eventLog.enabled", "true")
    .set("spark.files.overwrite", "true")
    .set("spark.hadoop.validateOutputSpecs", "false")

val sc = new SparkContext(SparkConf)

为什么?为什么结果不时会有所不同?

0 个答案:

没有答案