Databricks python笔记本执行的日志文件

Question

我正在使用数据块，并在python笔记本中编写代码。最近，我们在产品中部署了它。但是有时笔记本会出现故障。

我正在寻找笔记本命令执行日志文件，但是没有选项可以在数据块中生成日志文件。

我想用时间戳将日志文件存储在DBFS中，以便在失败时可以引用这些日志文件。

无论如何，我们可以实现这一目标吗？预先感谢您的帮助。

Answer 1

是的，有一种方法可以做到这一点。您将利用Databricks API。这取自他们的website。

创建一个集群，并将日志传送到DBFS位置 以下cURL命令创建一个名为“ cluster_log_dbfs”的集群，并请求Databricks将其日志发送到dbfs：/ logs，并将集群ID作为路径前缀。

curl -n -H "Content-Type: application/json" -X POST -d @- https://<databricks-
instance>/api/2.0/clusters/create <<JSON
    {
      "cluster_name": "cluster_log_dbfs",
      "spark_version": "5.2.x-scala2.11",
      "node_type_id": "i3.xlarge",
      "num_workers": 1,
      "cluster_log_conf": {
        "dbfs": {
          "destination": "dbfs:/logs"
        }
      }
    }