Question

我有一个Kafka实例（在Docker中本地运行），并使用sarama package在Go中创建了一个生产器。

当我想在主题上使用Kafka Streams时，生产者必须在消息中嵌入时间戳，否则我会收到以下丑陋的错误消息：

org.apache.kafka.streams.errors.StreamsException：输入记录 ConsumerRecord（topic = crawler_events，partition = 0，offset = 0， CreateTime = -1，序列化密钥大小= -1，序列化值大小= 187，标头= RecordHeaders（标头= []，isReadOnly = false），键= null，值= {XXX}）无效（负数）时间戳记。可能是因为0.10之前的制作人客户习惯了将此记录写到Kafka而不嵌入时间戳，或者因为输入主题是在将Kafka集群升级到之前创建的 0.10+。使用其他TimestampExtractor处理该数据。

这是在Go程序中发送消息的代码部分：

// Init a connection to the Kafka host,
// create the producer,
// and count successes and errors in delivery
func (c *kafkaClient) init() {
    config := sarama.NewConfig()
    config.Producer.Return.Successes = true
    c.config = *config
    var err error
    c.producer, err = sarama.NewAsyncProducer(c.hosts, &c.config)
    if err != nil {
        panic(err)
    }
    go func() {
        for range c.producer.Successes() {
            c.successes++
        }
    }()
    go func() {
        for range c.producer.Errors() {
            c.errors++
        }
    }()
}

// Send a message to the Kafka topic, WITH TIMESTAMP
func (c *kafkaClient) send(event string) {
    message := &sarama.ProducerMessage{
        Topic: c.topic,
        Value: sarama.StringEncoder(event),
        Timestamp: time.Now(),
    }
    c.producer.Input() <- message
    c.enqueued++
}

如您所见，我尝试发送的时间戳为time.Now()。

当我运行控制台使用者以查看收到的时间戳时：

docker-compose exec kafka /opt/kafka/bin/kafka-console-consumer.sh \
  --bootstrap-server localhost:9092 --topic crawler_events \
  --from-beginning --property print.timestamp=true

我看到它们都是“ -1”：

CreateTime:-1   {"XXX"}

在与控制台生产者将消息添加到主题时，我具有预期的时间戳，例如：

CreateTime:1539010180284        hello

我在做什么错？谢谢你的帮助。

Answer 1

Saraama默认为Kafka版本0.8.2。这意味着与经纪人交谈时，它将使用旧的0.8.2格式请求。

由于仅在0.10中添加了时间戳支持，因此，如果您未明确指定版本> = 0.10，则不会将时间戳转发给代理。

您需要在代码中添加config.Version = sarama.V0_10_0_0，时间戳才能生效。

用sarama编写Kafka生产者时的时间戳无效

1 个答案: