如何在Spark应用程序中添加自定义监视功能？

Question

我正在开发Spark应用程序。应用程序从Kafka队列获取数据并处理该数据。处理完成后，它将数据存储在Hbase表中。

现在我想要监控一些性能，例如，

1. 输入和输出记录的总数。（并非所有记录都将持久保存到Hbase，某些数据可能会在处理过程中被过滤掉）
2. 每封邮件的平均处理时间
3. 保留邮件所需的平均时间。

我需要收集这些信息并将其发送到不同的Kafka队列进行监控。

考虑到监控不应导致处理的显着延迟。

请为此提出一些建议。

感谢。