我在Azure databricks工作区中创建了笔记本,并希望通过使用Log Analytics工作区来监视我的笔记本,但是由于databricks是第三方工具,所以我看不到databricks笔记本的任何日志指标。就像我们通过使用日志分析和SQL分析来创建Azure SQL数据库的日志指标监视一样。在阅读了几篇文档和博客之后,我知道了日志分析中没有内置功能来监视数据块笔记本,我必须编写自定义代码(使用Python)来监视数据块笔记本。团队,如果有人实现了相同的想法,请在这里帮助我。我点击了此链接:
答案 0 :(得分:1)
您是否尝试过本文档中提到的步骤:“ Diagnostic logging in Azure Databricks”?
通过配置诊断设置,您可以配置以下数据的收集:
{ dbfs, clusters, accounts, jobs, notebook,ssh, workspace, secrets, sqlPermissions, instancePools}
STEP1::确保已配置诊断设置。
STEP2:配置诊断设置后,您可以转到Log Analytics Workspace => Logs => Log Management =>您将找到Databricks Notebook =>运行以下查询以获取有关的详细信息笔记本。
DatabricksNotebook
| where TimeGenerated > ago(24h)
| limit 10
第3步::您可以从结果中选择任何一个,并检查有关笔记本的所有详细信息。