如何通过spark应用程序监视内存和CPU使用情况？

Question

运行我的spark应用程序后，我想监视其内存和CPU使用情况以评估其性能，但无法找到任何选项。有可能监控吗？如何通过spark应用程序监视内存和CPU使用情况？

Answer 1

有几个选择：

1. Ganglia就是一个
2. 如果您在自己的群集上运行，HDP或Cloudera都有实时CPU和CPU。记忆消耗图表。
3. 如果您需要特定的JVM指标，那么我建议使用FlameGraph，但这不是实时的。
4. 还有Grafana，它非常强大，你可以用它跟踪很多指标，而且它是实时的。