具有自定义 _routing 的 Kafka Connect Elasticsearch Sink 连接器

Question

我正在尝试为 Elasticsearch 6.x 测试 Kafka Connect Sink 连接器

从信息丰富的 blog 我可以看到可以将文档路由到不同的 Elasticsearch 索引。

问题

如何在使用 ES 接收器连接器时提供自定义 _routing 值。例如，如果我的文档具有字段“customerId”，该字段存在于 Kafka 消息的值中，我该如何选择其值作为 _routing 以便文档位于索引的正确分片中。

Answer 1

confluent 提供的 Kafka 连接连接器直到 11.0.0 版本，其中没有文档路由选项。因此，不可能使用任何 SMT 在连接器本身上为 ES 索引设置文档路由。但是可以使用管道在 ES 索引上设置自定义路由。

检查相关答案 here。它展示了如何设置管道并在 elasticsearch 上使用它。