Question

我正在使用kafka-connect-elasticsearch插件将消息从我的kafka发送到Elasticsearch。我在kafka中的数据包含一个日期字段（时间戳格式）。

我的第一个问题是，当我使用此插件时，Elasticsearch索引无法将日期字段识别为日期类型，但将其识别为长字段。我可以通过在连接器配置中使用SMT转换来解决此问题。

这是我当前的配置，允许我在Elastic中推送数据：

{
  "name": "elasticsearch-sink-test",
  "config": {
    "connector.class": "io.confluent.connect.elasticsearch.ElasticsearchSinkConnector",
    "tasks.max": "1",
    "topics": "test.test",
    "key.ignore": "true",
    "connection.url": "http://localhost:9200",
    "type.name": "kafka-connect",
    "name": "elasticsearch-sink-test",
    "Batch.size": 100,
    "max.buffered.records": 1000,
    "Max.retries": 10,
    "Retry.backoff.ms": 1000,
    "flush.timeout.ms": 20000,
    "max.in.flight.requests": 3
    "transforms": "date",
    "transforms.date.type": "org.apache.kafka.connect.transforms.TimestampConverter$Value",
    "transforms.date.target.type": "Date",
    "transforms.date.field": "date",
    "transforms.date.format": "yyyy-MM-dd HH:mm:ss"
  }
}

我现在的问题是： Elasticsearch不会获取存储在kafka中的所有先前消息，而只会获取新的消息（在我启动Elasticsearch连接器后，所有推送到kafka的新消息）。

如何配置连接器以使Elastic获得所有消息？是否有任何变通办法可以使“弹性”“理解”日期字段为时间戳？

（有关信息，我的数据来源是带有debezium CDC连接器的MongoDB）

提前谢谢

Answer 1

如何配置连接器以使Elastic获得所有消息？

就像普通的Kafka消费者一样，您需要将偏移量最早设置为

consumer.auto.offset.reset=earliest

是否有任何变通办法可以使弹性字段“了解”日期字段为时间戳？

是的，在Elasticsearch中使用索引或动态映射。默认情况下，所有摄取的数字都是数字值。实际上，只有格式正确的日期字符串才会被索引为日期。如果您不控制Elasticsearch服务器或索引设置，则通常由该系统的管理员设置

Elasticsearch接收器仅使用kafka-connect-elasticsearch +时间戳SMT仅获得新消息，而不接收前一条消息

1 个答案: