标签： apache-spark out-of-memory spark-streaming
我们正在使用spark streaming来处理和聚合事件。 该作业从kafka主题中读取事件，聚合它们并写入另一个kafka主题。我们使用mapWithState函数进行有状态流，我们正在检查s3。自从我们设置了超时（相当长的会话超时）后，所有状态都会被删除。
正如我们所观察到的那样，内存在这段时间内变满，并且作业挂起（最终失败）。有没有办法配置，所以状态不会被保留在内存中。
有没有办法清理状态？