如何在databricks pyspark中创建日志文件（路径应为ADLS）

Question

我在databricks中写了一个pyspark作业。我的目标是将信息，异常和错误保存到日志文件中。该日志文件应该存在于ADLS中。

有人可以为此提供指导吗？

Answer 1

您可以set logs通过在群集详细信息页面的高级设置中指定，将其发送到DBFS位置。

在群集页面中，单击“编辑”，然后展开“高级选项”。有一个“日志记录”选项卡，您可以在其中输入希望日志保存的位置。 Databricks将根据群集ID在此位置创建一个文件夹。