如何将日志分析工作区与Azure Databricks笔记本集成以监视databricks笔记本（自定义日志记录）？

Question

我在Azure databricks工作区中创建了笔记本，并希望通过使用Log Analytics工作区来监视我的笔记本，但是由于databricks是第三方工具，所以我看不到databricks笔记本的任何日志指标。就像我们通过使用日志分析和SQL分析来创建Azure SQL数据库的日志指标监视一样。在阅读了几篇文档和博客之后，我知道了日志分析中没有内置功能来监视数据块笔记本，我必须编写自定义代码（使用Python）来监视数据块笔记本。团队，如果有人实现了相同的想法，请在这里帮助我。我点击了此链接：

https://docs.microsoft.com/en-us/azure/databricks/administration-guide/account-settings/azure-diagnostic-logs

Answer 1

您是否尝试过本文档中提到的步骤：“ Diagnostic logging in Azure Databricks”？

通过配置诊断设置，您可以配置以下数据的收集：

{ dbfs, clusters, accounts, jobs, notebook,ssh, workspace, secrets, sqlPermissions, instancePools}

STEP1：：确保已配置诊断设置。

STEP2：配置诊断设置后，您可以转到Log Analytics Workspace => Logs => Log Management =>您将找到Databricks Notebook =>运行以下查询以获取有关的详细信息笔记本。

DatabricksNotebook 

| where TimeGenerated > ago(24h) 

| limit 10

第3步：：您可以从结果中选择任何一个，并检查有关笔记本的所有详细信息。