卡夫卡生产者的认可和端到端的可追溯性

Question

我有一个用例，由外部客户端生成的给定消息需要通过Kafka流进行数个浓缩等步骤，然后才能最终将消息移交给另一个目标Kafka集群。我需要实现完全的可追溯性以及对帐。

对于我的用例，我正在尝试以下方法：

1. 使用生产者拦截器在消息标题中引入我要发送的唯一消息。
2. 让标头通过流处理
3. 在将消息写入目标群集（第二群集）之前，请使用其他生产者拦截器。

我遇到的问题是我无法将RecordMetadata与我在标头中设置的消息ID相关联。尽管我可以匹配计数，但RecordMetadata不会保留我想要的消息或相关信息等任何类型的通过字段，但是我无法匹配想要的消息。

是否有其他方法可以解决此问题？是否有将来的KIP，可以在RecordMetadata中保留传递字段。