Question

因此我们目前正在尝试使用Kafka 0.9，并且几乎处于概念验证阶段。我们刚开始研究它并试图找出它，如果它是我们需要的。还有一些学习要做，所以请在这里忍受我:)

目前的设置如下：

3个不同主机上的Kafka经纪人：zkhost1，zkhost2，zkhost3
一个主题：“myTopic”
该主题有4个分区
复制因子为1
我们有一个生产者和三个消费者，都在同一个消费者群体“myGroup”

现在我尝试使用kafka-reassign-partitions.sh脚本更改复制因子。为此，我创建了以下JSON文件：

{"version":1,
"partitions":[
    {"topic":"myTopic","partition":0,"replicas":[0,1,2]},
    {"topic":"myTopic","partition":1,"replicas":[0,1,2]},
    {"topic":"myTopic","partition":2,"replicas":[0,1,2]},
    {"topic":"myTopic","partition":3,"replicas":[0,1,2]}
    ]
}

...然后执行脚本：

kafka/bin/kafka-reassign-partitions.sh --zookeeper zkhost1:2181,zkhost2:2181,zkhost3:2181 --reassignment-json-file increase-replication-factor.json --execute

这顺利进行，之后我得到了预期的复制：

Topic:myTopic   PartitionCount:4    ReplicationFactor:3 Configs:
Topic: myTopic  Partition: 0    Leader: 0   Replicas: 0,1,2 Isr: 0,2,1
Topic: myTopic  Partition: 1    Leader: 0   Replicas: 0,1,2 Isr: 0,2,1
Topic: myTopic  Partition: 2    Leader: 0   Replicas: 0,1,2 Isr: 0,2,1
Topic: myTopic  Partition: 3    Leader: 0   Replicas: 0,1,2 Isr: 0,2,1

我不明白的是，在重新分配期间分区发生了什么。当我查看ConsumerOffsetChecker时，这是我在重新分配之前之前看到的：

kafka/bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group myGroup --zookeeper zkhost1:2181 --topic myTopic Group Topic Pid Offset logSize Lag Owner myGroup myTopic 0 925230 925230 0 none myGroup myTopic 1 925230 925230 0 none myGroup myTopic 2 925230 925230 0 none myGroup myTopic 3 925230 925230 0 none

...这就是我在重新分配后看到的：

Group Topic Pid Offset logSize Lag Owner myGroup myTopic 0 23251 23252 1 none myGroup myTopic 1 41281 41281 0 none myGroup myTopic 2 23260 23260 0 none myGroup myTopic 3 41270 41270 0 none

对我来说，这提出了几个问题：

为什么logSize现在大幅减少了？重新分配会引发一些清理吗？（我们没有设置字节限制）

为什么在重新分配之前所有4个分区的大小大致相同，而在重新分配之后，分区0,2和1,3之间有这么大的差异？不应该是一个主题的所有分区都有相同的logSize，还是我误解了这个概念？

这样的事情（即重新分配分区）会导致数据丢失吗？（在这种情况下我无法看到我们的消费者）。如果是这样，有没有办法在没有这种风险的情况下做到这一点？

感谢您的回答和最诚挚的问候，

/ tehK

在重新分配分区时（特别是logsize），Kafka会发生什么？

0 个答案: