Question

我正在使用Apache Flink 1.3.2集群。我们正在使用Kafka消息，由于将代理升级到1.1.0（从0.10.2），我们经常在日志中注意到此错误：

_locale

由于这个原因，有时我们在处理过程中会遇到丢失的事件。我们在工作中使用FlinkKafkaConsumer010。

启用检查点（间隔10 s，超时1分钟，检查点之间的最小暂停5s，最大并发检查点1.平均E2E持续时间小于1s，甚至不到半秒。） Kafka 0.10.2，我们没有这个例外。

更新：我们已经重新安装了Kafka，现在我们收到警告消息，但仍未读取任何事件

 ERROR o.a.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase  - Async Kafka commit failed.
org.apache.kafka.clients.consumer.RetriableCommitFailedException: Offset commit failed with a retriable exception. You should retry committing offsets.
Caused by: org.apache.kafka.common.errors.DisconnectException: null

Answer 1

事实证明，这是由我们在AWS中遇到的一些连接问题引起的。该框架与Kafka 1.1配合良好

Kafka 1.1.0的Apache Flink 1.3.2连接问题

1 个答案: