自定义记录器的火花

Question

我正在运行 spark2.3 并希望配置日志记录机制，以便它可以利用我现有的 log4j 配置。我似乎无法找到实现这一目标的解决方案。有人可以帮忙吗？

Answer 1

我假设您正在使用Maven，然后只需在您的pom.xml中包含log4j依赖项，并将log4j.properties文件放在src/main/resources下，Spark将处理其余部分。