电子邮件警报火花流延迟

时间:2019-11-27 19:11:05

标签: apache-spark notifications

我们有spark作业,可将数据从Kafka加载到hive数据库。有时我们的流媒体作业获取了太多数据或被挂起,导致实时流媒体延迟。 我们可以在Spark UI的队列中看到活动进程和挂起进程。

我想整合这些信息,并在出现任何延迟的情况下发送电子邮件警报。

谢谢

1 个答案:

答案 0 :(得分:0)

您可以在GitHub软件包以下使用Spark Email Alert。

https://github.com/NikhilSuthar/Scala-Spark-Mail