火花蓄电池复位

时间:2016-08-22 13:26:43

标签: java apache-spark accumulator

有没有办法通过驱动程序重置spark Accumulator,这样也可以清理执行程序Accumulator。

我有一个累加器,实际上是一个List> 所有执行程序都将元组添加到累加器中,驱动程序将其读取。 问题是执行程序堆被填满了。

当驱动程序读取所有数据时,执行程序不需要本地数据。

感谢

1 个答案:

答案 0 :(得分:0)

我想知道你是否曾尝试使用累加器'来驱动重置累加器。公共方法setValue()

  

您可以使用此方法,即setValue()方法,将累加器的值重置为较小的对象(例如,无论您的累加器类型是什么的“零”对象,如果您确定,则为“null”)永远不会再次访问累加器。)

来自https://issues.apache.org/jira/browse/SPARK-3885