融合S3连接器说明

Question

我们正在使用confluent的s3连接器将主题中的平均数据发送到s3。我们有3个代理节点，在所有3个代理节点上，我们正在运行融合的s3-connector。在连接器的配置文件中，我们有两个主题和任务。max= 1。我是kafka的新手，我对此有以下疑问：

1. 由于总共有三个s3连接器，因此它们如何从每个主题中读取（每个主题具有3个分区和2个复制因子）。他们是否被视为是从同一主题中读取的三个不同的消费者，或者所有这些消费者都属于一个消费者组并并行读取数据？
2. 每个连接器中都有两个主题。他们是否启动不同的线程以并行地从两个主题读取数据，还是按顺序使用（一次从一个主题读取）？

Answer 1

tasks.max=1

首先，将其设置为总分区数。

---

复制因子无关紧要。消费者一次只能读取一个分区。

Connect组成一个消费者组。这是任何Kafka客户客户端的基本设计。它们并行读取，具体取决于您的所有其他属性。

you are running connect-standalone, and not connect-distributed, however之类的声音

如果您有3台计算机，则显然使用分布式模式

是的，任务和线程在功能上是等效的，不同之处在于任务将重新平衡，而线程在逻辑上仅在一台计算机上。