Spark应用程序和日志记录MDC（映射诊断上下文）

Question

我正在寻找一种方法，将我的驱动程序的MDC转发给主人和工人，以便我可以识别源于同一操作的消息？例如。我有一个依赖于应用程序的查询/作业ID，我希望将其附加到我的spark worker中的结构化日志消息中。

• 不可能？
• 无证？
• 很容易，但我却傻到找？

问候。

Answer 1

如果我正确理解 PR（我是 Spark 的新手），那么从 3.1 版本开始 现在应该可以通过 spark.sparkContext.setLocalProperty("mdc." + name, "value") 向 MDC 添加自定义条目。