如何使用Python或Pyspark或Scala获取数据砖中笔记本的作业运行结果日志

时间:2019-04-01 14:49:16

标签: python-3.x pyspark azure-data-lake azure-databricks

我必须使用python或pyspark或scala在databricks中获取笔记本的作业运行结果日志,并将这些日志详细信息写入文件。我无法获取这些日志。有人可以帮我吗?

1 个答案:

答案 0 :(得分:1)

在数据砖中创建集群时,会出现一个选项卡,您可以在其中指定日志目录(默认为空)。

日志是在DBFS上编写的,因此您只需指定所需的目录即可。

clusters/log-delivery