Question

我刚刚注意到，当我在分区中生成单个消息时，我的使用者没有收到它。只有当我在同一个分区中再产生几条消息后，消费者才收到它们。我的<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script> <body> <ul class="topmenu"> <li> <a>LINK 1</a> <ul class="submenu"> <li>LINK 1-1</li> <li>LINK 1-2</li> <li>LINK 1-3</li> </ul> </li> <li><a>LINK 2</a></li> <li><a>LINK 3</a></li> </ul> </body>设置为1。

还有其他可能会影响此处的配置吗？

每个分区都有一个专用的使用者。

相关部分的消费者代码。我的使用者为fetch.min.bytes定义的不同主题启动了多个线程。使用https://github.com/mmustala/rdkafka-ruby，这是原始消费类宝石的叉子。我添加了一个批处理方法。还有一种以托管方式关闭消费者的方法。

configs['stream']

config

key = configs['app_key']
consumer = Rdkafka::Config.new(config(configs)).consumer
topic = "#{topic_prefix}#{app_env}_#{configs['stream']}"
consumer.subscribe(topic)

logger.info "#{rand}| Starting consumer for #{key} with topic #{topic}"
begin
  retry_counter = 0
  retries_started_at = nil
  current_assignment = nil
  partitions = []
  consumer.each_batch(configs['max_messages_per_partition'] || 5, 100, rand) do |messages|
    partitions = messages.collect {|m| m.partition}.uniq.sort
    logger.info "#{rand}| Batch started. Received #{messages.length} messages from partitions #{partitions} for app #{key}"
    current_assignment = consumer.assignment.to_h
    values = messages.collect {|m| JSON.parse(m.payload)}
    skip_commit = false
    begin
      values.each_slice((values.length / ((retry_counter * 2) + 1).to_f).ceil) do |slice|
        logger.info "#{rand}| Sending #{slice.length} messages to lambda"
        result = invoke_lambda(key, slice)
        if result.status_code != 200 || result.function_error
          logger.info "#{rand}| Batch finished with error #{result.function_error}"
          raise LambdaError, result.function_error.to_s
        end
      end
    rescue LambdaError => e
      logger.warn "#{rand}| #{e}"
      if consumer.running? && current_assignment == consumer.assignment.to_h
        retry_counter += 1
        retries_started_at ||= Time.now
        if retry_counter <= 5 && Time.now - retries_started_at < 600
          logger.warn "#{rand}| Retrying from: #{e.cause}, app_key: #{key}"
          Rollbar.warning("Retrying from: #{e.cause}", app_key: key, thread: rand, partitions: partitions.join(', '))
          sleep 5
          retry if consumer.running? && current_assignment == consumer.assignment.to_h
        else
          raise e # Raise to exit the retry loop so that consumers are rebalanced.
        end
      end
      skip_commit = true
    end
    retry_counter = 0
    retries_started_at = nil
    if skip_commit
      logger.info "#{rand}| Commit skipped"
    else
      consumer.commit
      logger.info "#{rand}| Batch finished"
    end
  end
  consumer.close
  logger.info "#{rand}| Stopped #{key}"
rescue Rdkafka::RdkafkaError => e
  logger.warn "#{rand}| #{e}"
  logger.info "#{rand}| assignment: #{consumer.assignment.to_h}"
  if e.to_s.index('No offset stored')
    retry
  else
    raise e
  end
end

生产者代码使用https://github.com/zendesk/ruby-kafka

def config(app_config)
  {
      "bootstrap.servers": brokers,
      "group.id": app_configs['app_key'],
      "enable.auto.commit": false,
      "enable.partition.eof": false,
      "log.connection.close": false,
      "session.timeout.ms": 30*1000,
      "fetch.message.max.bytes": ['sources'].include?(app_configs['stream']) ? 102400 : 10240,
      "queued.max.messages.kbytes": ['sources'].include?(app_configs['stream']) ? 250 : 25,
      "queued.min.messages": (app_configs['max_messages_per_partition'] || 5) * 10,
      "fetch.min.bytes": 1,
      "partition.assignment.strategy": 'roundrobin'
  }
end

更新：看起来消息数量无关紧要。我刚刚将100多个消息生成到一个分区中，而使用者尚未开始使用这些消息。

UPDATE2：它没有在晚上开始使用这些消息。但是今天早上当我在同一分区中产生一组新消息时，它醒来并开始使用我刚产生的新消息。它跳过了昨晚发出的消息。

Answer 1

我认为问题在于该分区已经有一段时间没有收到消息了，并且显然没有保存偏移量。获取偏移量后，将其设置为默认值的最大值。设置auto.offset.reset: 'smallest'之后，我还没有看到会跳过邮件的问题。

卡夫卡消费者没有从分区中收到一条消息

1 个答案: