针对DAG和事件时间线的Spark自定义监视

Question

我希望在流式应用程序中对Apache Spark UI显示的DAG和事件时间线进行自己的监控。

有没有办法让这些指标或任何听众获取这些信息？

我的动机是使用指标显示批量处理阶段的数据的实时进度。我已经探索过 StreamingListener 及其实现。

Answer 1

我认为您可以在文档中找到它：

http://spark.apache.org/docs/latest/monitoring.html#rest-api

我没有使用REST API。但看起来你可以用它编写自己的监控工具。