"errors.deadletterqueue.topic.name"
是否可用于源连接器?我使用JDBC sink connector进行了测试,并且可以正常工作,但是我发现没有序列化错误的记录进入死信队列。
我使用Debezium Connector for MongoDB,而apache-kafka-connect的版本是2.4.0。
其余错误处理配置:
"errors.tolerance": "all",
"errors.log.enable": "false",
"errors.deadletterqueue.topic.name": "test-dlq",
"errors.deadletterqueue.context.headers.enable": "true"
答案 0 :(得分:1)
apache-kafka-connect包括错误处理选项,包括从Apache Kafka 2.0开始通过KIP-298: Error Handling in Connect将消息路由到死信队列的功能。根据此KIP,仅对于接收器连接器,“死信队列”为 supported 。
您还可以检查Kafka Connect docs:
errors.deadletterqueue.topic.name :用作此死信队列的消息的死信队列(DLQ)的主题名称,当该 sink连接器处理该消息时会导致错误或其转换或转换器。默认情况下,主题名称为空,这意味着DLQ中不会记录任何消息。
Error Handling and Dead Letter Queues撰写的有关Robin Moffatt的精彩文章