标签: elasticsearch apache-kafka apache-kafka-connect confluent-platform
我还是kafka的新手,正在寻找以下问题的解决方案: 使用Kafka Connect SMT,可以操纵主题的一部分或其名称。 有没有办法从数据流中获取日期并从中建立索引名称? 例如:
{"transmitdate": "2020-03-20T14: 00: 00"} -> index name: foo-2020-03-20
谢谢。
答案 0 :(得分:1)
所以我自己找到了答案。 连接器包中的MessageTimestampRouter非常适合该任务。
这是链接:
https://docs.confluent.io/current/connect/transforms/messagetimestamprouter.html#messagetimestamprouter