实时监控Spark Jobs

Question

我想实时监控Spark Jobs

为此，我从Spark Monitoring REST API获取数据并以可视化形式显示。一种解决方案是每1秒轮询一次API。但我想在没有民意调查的情况下这样做。

我们可以做Webhook之类的事情。

先谢谢:)

Answer 1

我不知道Webhook，但我认为你可以使用SparkListener将spark调度程序事件实时推送到你的后端应用程序。