如何检测Spark流处理了所有消息？

Question

在某个时间点，我知道不再有消息流。如何确定所有消息均已由Spark流处理？

我想使用该信息来（1）关闭群集，（2）向其他各方发送“作业完成”事件。

详细信息：

• 目前我还不计算收到的消息。
• 已处理的消息会在S3存储桶中生成一个文件。