标签： apache-spark pyspark profiling
我一直想找到一个从jupyter笔记本电脑界面运行时执行spark应用程序执行程序的概要方法。我基本上想查看详细信息，例如特定执行程序（至少失败的执行程序）随时间推移的堆内存使用量，年轻内存和perm gen内存使用情况等。
我看到了很多解决方案，但似乎没有什么成熟且易于安装/使用的。
有什么好的工具可以让我轻松地做到这一点吗？