如何从代码中监视/生成CPU / RAM利用率的汇总报告？

Question

我知道ganglia可用于监控像Spark这样的集群中的资源利用率。但它会为我的申请提供整体报告。

但是，如果我想知道我的代码的特定部分使用了多少资源，有什么办法吗？

A
My code
B

例如，我想知道从A到B的CPU / RAM利用率。我可以在代码中计算运行时，即用于spark的java应用程序，但我不知道如何才能明确知道该资源的利用率一部分。我有一个想法，如果不知何故我可以在B生成一个报告（如关于神经网络报告的呼叫api），它基本上可以显示我最多使用的资源B.虽然它在A之前不排除任何东西但它现在对我有用如果存在这样的解决方案。

提前谢谢。

Answer 1

显然，新项目sparkoscope似乎可以解决这个问题，即从源代码级别进行监控。但是，他们的项目没有很好的记录，因此我很难将他们的项目置于工作位置。然而，这是一个开始。希望它可以帮助像我这样的人。