有没有办法通过驱动程序重置spark Accumulator,这样也可以清理执行程序Accumulator。
我有一个累加器,实际上是一个List> 所有执行程序都将元组添加到累加器中,驱动程序将其读取。 问题是执行程序堆被填满了。
当驱动程序读取所有数据时,执行程序不需要本地数据。
感谢
答案 0 :(得分:0)
我想知道你是否曾尝试使用累加器'来驱动重置累加器。公共方法setValue()
。
您可以使用此方法,即
setValue()
方法,将累加器的值重置为较小的对象(例如,无论您的累加器类型是什么的“零”对象,如果您确定,则为“null”)永远不会再次访问累加器。)