Kafka恰好一次消费群体流

时间:2019-04-22 18:59:31

标签: apache-kafka-streams

当我完全打开一次处理时,会出现以下错误。注意:我们的应用程序非常安全,我们仅向kafka用户和消费者提供他们明确需要的资源的访问权限。

2019-04-22 15:28:09 INFO  (kafka.authorizer.logger)233 - Principal = User:xxx is Denied Operation = Describe from hos
xxx.xxx.xxx.xxx on resource = TransactionalId:application_consumer-0_16

在处理一次卡夫卡流时,kafka流是否使用每个流任务的使用者组而不是所有流任务的使用者组?

1 个答案:

答案 0 :(得分:0)

启用精确一次后,仍然只有一个与application.id相同的消费者组。但是,不是每个线程使用一个Producer,而是每个 task 使用一个生产者。

您需要的是交易许可。错误报告TransactionsId来自任务0_16的生产者。每个生产者都使用自己的交易ID,该交易ID构造为<application.id>-<taskId>

有关详细信息,请比较以下文档:https://docs.confluent.io/current/kafka/authorization.html#using-acls