我的Databricks笔记本中的哪一个使用群集节点？

Question

我同时在Azure Databricks Spark群集上运行多个笔记本。

如何查看一段时间内每个笔记本\应用程序的群集节点使用率？

“ Spark群集用户界面-主”和“ Spark UI”选项卡均未提供此类信息

Answer 1

如今，没有自动化/内置的支持来隔离Databricks上特定笔记本的使用。

话虽这么说，一种方法是使用可用于Databricks群集的Ganglia Metrics。

如果同时运行两个笔记本，将很难辨别哪个笔记本使用了特定数量的笔记本。我建议运行一个笔记本完成操作，并注意群集上的使用情况。然后，运行第二个笔记本以完成操作并观察其用法。然后，您可以比较两者，并为每个人如何利用群集上的资源确定基准。