Kafka Connect日志中的屏蔽？

Question

我需要知道在卡夫卡中如何掩盖机密。机密包括用户名，密码，serviceID和apiKey等。我不想记录此类信息。

Answer 1

对于apache-kafka-connect，您可以使用秘密外部化。此功能已在apache-kafka 2.0.0到KIP-297中实现。

---

短示例：

1. 将这些属性添加到connect-distributed.properties文件中：

config.providers=file
config.providers.file.class=org.apache.kafka.common.config.provider.FileConfigProvider

1. 使用敏感信息（例如/secrets/postgres.properties）创建文件：

   password = strongestPasswordEver

2. 现在您可以在连接器配置中使用占位符，例如：

   “ database.password”：“ $ {文件：/secrets/postgres.properties：密码}”

在这里，占位符${file:/secrets/postgres.properties:user}表示应使用文件配置提供程序，读取属性文件/secrets/postgres.properties并从中提取用户属性。

---

好文章：

1. Putting Kafka Connect passwords in a separate file / externalising secrets
2. Secrets externalization with Debezium connectors

Answer 2

不清楚您要记录什么数据。

Slf4j具有可自定义的输出格式。 MDC上下文日志记录最近已添加到连接器记录器中，但是由您自己的代码逻辑来屏蔽敏感数据。

注意：Kafka本身也不进行静态加密