Question

我创建了一个多线程的Kafka使用者，其中每个分区分配了一个线程（我总共有100个分区）。我已点击https://cwiki.apache.org/confluence/display/KAFKA/Consumer+Group+Example链接。

下面是我的消费者的初始化方法。

consumer =  kafka.consumer.Consumer.createJavaConsumerConnector(createConsumerConfig());
        System.out.println("Kafka Consumer initialized.");
        Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
        topicCountMap.put(topicName, 100);
        Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);

        List<KafkaStream<byte[], byte[]>> streams = consumerMap.get(topicName);

        executor = Executors.newFixedThreadPool(100);

在上面的init方法中，我获得了应该连接到每个分区的Kafka流列表（总数为100）（按预期发生）。

然后我确实使用下面的代码片段将每个流提交到不同的线程。

公共对象调用（）{

  for (final KafkaStream stream : streams) {
        executor.execute(new StreamWiseConsumer(stream));
    }
    return true;
  }

下面是StreamWiseConsumer类。

public class StreamWiseConsumer extends Thread {

    ConsumerIterator<byte[], byte[]> consumerIterator;
    private KafkaStream m_stream;

    public StreamWiseConsumer(ConsumerIterator<byte[], byte[]> consumerIterator) {
        this.consumerIterator = consumerIterator;
    }

    public StreamWiseConsumer(KafkaStream kafkaStream) {
        this.m_stream = kafkaStream;
    }


    @Override
    public void run() {
        ConsumerIterator<byte[], byte[]> consumerIterator  = m_stream.iterator();

        while(!Thread.currentThread().isInterrupted() && !interrupted) {
            try {
                if (consumerIterator.hasNext()) {
                    String reqId = UUID.randomUUID().toString();
                    System.out.println(reqId+ " : Event received by threadId : "+Thread.currentThread().getId());
                    MessageAndMetadata<byte[], byte[]> messageAndMetaData = consumerIterator.next();
                    byte[] keyBytes = messageAndMetaData.key();
                    String key = null;
                    if (keyBytes != null) {
                        key = new String(keyBytes);
                    }
                    byte[] eventBytes = messageAndMetaData.message();
                    if (eventBytes == null){
                        System.out.println("Topic: No event fetched for transaction Id:" + key);
                        continue;
                    }
                    String event = new String(eventBytes).trim();
                    // Some Processing code
                    System.out.println(reqId+" : Processing completed for threadId = "+Thread.currentThread().getId());
                    consumer.commitOffsets();
            } catch (Exception ex) {

            }

        }
    }
}

理想情况下，它应该从所有100个分区并行开始处理。但是它正在从一个线程中选择一些随机数的事件并对其进行处理，然后另一个线程从另一个分区开始处理。似乎它是顺序处理，但线程不同。我期望所有100个线程都进行处理。我在这里想念东西吗？

日志链接的

PFB。 https://drive.google.com/file/d/14b7gqPmwUrzUWewsdhnW8q01T_cQ30ES/view?usp=sharing https://drive.google.com/file/d/1PO_IEsOJFQuerW0y-M9wRUB-1YJuewhF/view?usp=sharing

Answer 1

我怀疑这是否是垂直缩放kafka流的正确方法。

Kafka流本质上支持多线程使用。

通过使用num.stream.threads配置来增加用于处理的线程数。

如果要让100个线程处理100个分区，请将num.stream.threads设置为100。

多线程Kafka Consumer无法并行处理所有分区

1 个答案: