Question

kafka版本：1.0.0 sarama版本：1.15.0 go version：1.9.1

像这样的代码示例：

func main() {
    config := sarama.NewConfig()
    config.Version = sarama.V1_0_0_0
    config.Producer.Return.Successes = true
    config.Producer.RequiredAcks = sarama.WaitForAll
    // config.Producer.Flush.Frequency = 10 * time.Second
    // config.Producer.Flush.Bytes = 1024 * 1024
    // config.Producer.Flush.MaxMessages = 1024
    producer, err := sarama.NewAsyncProducer(strings.Split(*brokers, ","), config)
    if err != nil {
        panic(err)
    }

    // Trap SIGINT to trigger a graceful shutdown.
    signals := make(chan os.Signal, 1)
    signal.Notify(signals, os.Interrupt)

    var (
        wg                          sync.WaitGroup
        enqueued, successes, errors int
    )

    wg.Add(1)
    go func() {
        defer wg.Done()
        for range producer.Successes() {
            successes++
        }
    }()

    wg.Add(1)
    go func() {
        defer wg.Done()
        for err := range producer.Errors() {
            log.Println(err)
            errors++
        }
    }()
    counter := 0

ProducerLoop:
    for {
        if counter >= 65536 {
            producer.AsyncClose() // Trigger a shutdown of the producer.
            break ProducerLoop
        }
        message := &sarama.ProducerMessage{
            Topic: *topics,
            // Key:       sarama.StringEncoder(fmt.Sprintf("%d", counter)),
            // Partition: int32(counter),
            Value: sarama.StringEncoder(fmt.Sprintf("%d,%d", counter, time.Now().UnixNano())),
            // Timestamp: time.Now(),
        }
        select {
        case producer.Input() <- message:
            enqueued++

        case <-signals:
            producer.AsyncClose() // Trigger a shutdown of the producer.
            break ProducerLoop
        }
        if *verbose {
            fmt.Printf(".")
        }
        if *sleep {
            // fmt.Println(100 * time.Millisecond)
            time.Sleep(1 * time.Millisecond)
        }
        counter++
    }

    wg.Wait()

    log.Printf("Successfully produced: %d; errors: %d\n", successes, errors)
}

从日志中我发现65536条消息发送到kafka，但是当我使用kafka官方消费者客户端消费时，只收到了一百条消息，我很困惑

我使用官方消费者工具来做到这一点：

$KAFKA_HOME/bin/kafka-console-consumer.sh --bootstrap-server $KAFKA_BROKERS --topic fire-8  --from-beginning

关于生成时的偏移和分区，我也记录了它们。粘贴这里太长了。计数匹配，我没有发现任何奇怪的东西

任何解释都表示赞赏。

我也在GitHub上发布了issue。

更新1

我发现如果我设置睡眠，消耗和生产之间的差距就会缩小。

更新2

我发现了我在日志中发送的数据，但我无法消费，消费者出错了我猜

UPDATE3

我在旧的kafka群集（0.10.1.0）上重播上述步骤，一切都与预期完全一致

Answer 1

应该是kafka go客户端的bug：sarama。我找到了我发布的GitHub issue解决方案：删除kafka版本配置，它可以工作。但这失去了新版本带来的一些新功能。如果未指定使用的版本，则最旧的是默认值

为什么我会向kafka发送65536条消息但只消耗了数百条消息？

UPDATE3

1 个答案: