如何重定向日志但保留现有的stdout，stderr和log4j日志？

Question

我正在添加一个新的追加程序，并调用org.apache.log4j.PropertyConfigurator.configure（）。但是，这似乎覆盖了默认的数据块日志记录，并且我再也无法从驱动程序日志或执行程序日志视图中正常查看日志。

我认为数据块可能使用一些FileAppender。如何在保留现有数据块的同时添加新的附加程序？

Answer 1

请勿自行致电org.apache.log4j.PropertyConfigurator.configure来扩展内置日志记录配置。而是通过在log4j.properties目录中定义一个任意命名的/databricks/spark/conf/文件来做到这一点。 （reference）另外，您可能需要使用init脚本来确保将文件添加到群集中的所有节点。