在Spark Streaming中结束微批处理之前执行操作

Question

是否有可能在Spark Streaming中的DStream中的每个微批处理结束时执行某些操作？我的目标是计算Spark处理的事件数。 Spark Streaming给了我一些数字，但平均值似乎总和为零值（因为一些微批量是空的）。

e.g。我收集一些统计数据并希望将它们发送到我的服务器，但收集数据的对象仅存在于某个批处理中，并从头开始为下一批处理初始化。我很乐意能够打电话给我的＃34;完成＆＃34;批处理完成之前的方法，对象消失了。否则，我会丢失尚未发送到我的服务器的数据。

Answer 1

也许你可以使用StreamingListener：

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.streaming.scheduler.StreamingListener