如何在Spark应用程序中添加自定义监视功能?

时间:2016-07-24 19:42:58

标签: performance apache-spark monitoring bigdata

我正在开发Spark应用程序。应用程序从Kafka队列获取数据并处理该数据。处理完成后,它将数据存储在Hbase表中。

现在我想要监控一些性能,例如,

  1. 输入和输出记录的总数。(并非所有记录都将持久保存到Hbase,某些数据可能会在处理过程中被过滤掉)
  2. 每封邮件的平均处理时间
  3. 保留邮件所需的平均时间。
  4. 我需要收集这些信息并将其发送到不同的Kafka队列进行监控。

    考虑到监控不应导致处理的显着延迟。

    请为此提出一些建议。

    感谢。

0 个答案:

没有答案