标签: apache-spark profiling spark-streaming
我有一个永远不会死的(直到被迫)激发流媒体工作,处理来自kafka主题的传入消息。
我已经完成了这项任务,以了解这份工作,了解工作内部的工作(工资非常高)。
据我所知,大多数流量指标已经在spark UI中提供,但是我有兴趣可视化细节,例如(应用程序中方法调用方面的内存和CPU使用情况。)
此外,如果有人向我指示可以说明每个执行者的所有Jvm指标可以使用的文档,那将会非常有帮助。
我将非常感谢您提供的任何指导。
答案 0 :(得分:2)
Here是您正在寻找的博客,它有点旧但解决了您的问题