如何覆盖Databricks群集上的log4j配置？

Question

我有一组通过ADF管道运行的本地python脚本。 python脚本作为一单元笔记本驻留在databricks工作区中。我想将所有日志记录信息放在一个地方，可能是一个日志文件，人们可以简单地引用它来了解在管道运行期间到底发生了什么。

我如何解决此问题？ 我已使用SparkContext object登录到数据块群集的驱动程序日志。我的自定义记录器名称为CTP_Project，log4j日志如下所示。

问题：我只希望与“ CTP_Project”记录器关联的日志在需要时进行存储和显示。

可能的解决方案： 看来databrick集群上的 log4j configuration 可以帮助实现这一目标。我想重写log4j配置可以解决问题。但是，我不知道该怎么做。甚至一个示例log4j config初始化脚本也可以解决该问题。请提出任何解决方案。