Kafka:生产者线程卡住了

时间:2021-01-29 15:02:00

标签: apache-kafka apache-nifi java-threads

我有一个 Apache Nifi 工作流,可将数据流式传输到 Kafka。我的 Kafka 集群由 5 个使用 SSL 进行加密的节点组成。 当有大量数据要抛出时,我的 Kafka 生产者 (PublishKafkaRecord) 会冻结并停止工作。我必须重新启动处理器,但出现线程错误。 我使用的是 Kafka Confluent 5.3.1。

我在 Kafka 日志中看到这些错误:

ERROR Uncaught exception in scheduled task 'transactionalID-expiration' (Kafka.utils.Kafkascheduler)

Retrying leaderEpoch request for partitions XXX-0 as the leader reported an error: UNKNOWN_LEADER_EPOCH (kafka.server.ReplicaFetcherThread)

Could not find offset index file corresponding to log file XXX/*.log recovering segment and rebuilding index files (kafka.log.Log)

ERROR when handing request: .... __transaction_state

ERROR TransactionMetadata (... ) failed: this should not happen (kafka.coordinator.transaction.TransactionMetadata)

我无法指出实际错误。

如何修复卡在 Kafka 中的线程?

0 个答案:

没有答案