标签: apache-spark notifications
我们有spark作业,可将数据从Kafka加载到hive数据库。有时我们的流媒体作业获取了太多数据或被挂起,导致实时流媒体延迟。 我们可以在Spark UI的队列中看到活动进程和挂起进程。
我想整合这些信息,并在出现任何延迟的情况下发送电子邮件警报。
谢谢
答案 0 :(得分:0)
您可以在GitHub软件包以下使用Spark Email Alert。
https://github.com/NikhilSuthar/Scala-Spark-Mail