剖析火花流工作

时间:2018-06-14 12:27:36

标签: apache-spark profiling spark-streaming

我有一个永远不会死的(直到被迫)激发流媒体工作,处理来自kafka主题的传入消息。

我已经完成了这项任务,以了解这份工作,了解工作内部的工作(工资非常高)。

据我所知,大多数流量指标已经在spark UI中提供,但是我有兴趣可视化细节,例如(应用程序中方法调用方面的内存和CPU使用情况。)

此外,如果有人向我指示可以说明每个执行者的所有Jvm指标可以使用的文档,那将会非常有帮助。

我将非常感谢您提供的任何指导。

1 个答案:

答案 0 :(得分:2)

Here是您正在寻找的博客,它有点旧但解决了您的问题