为什么少数卡夫卡生产者会出现高延迟,而大量卡夫卡生产者却会产生小的延迟(RTT)?

时间:2019-09-04 18:19:37

标签: java apache-spark apache-kafka kafka-consumer-api kafka-producer-api

我在PC上运行了3个Kafka代理,并触发了(master = local [8]),在其中编写了Java代码以订阅Kafka主题“ A”,处理并发布到Kafka主题“ B”。并在另一台PC上运行4个发布到主题“ A”的Kafka生产者和一个使用Java订阅主题“ B”的Kafka消费者。

我用Kafka用户代码计算了RTT。

问题是: :当我增加Kafka生产者的数量时,我得到的RTT会降低!!

我尝试更改batch.size增大和减小,但是没有用。

Kafka生产者配置:

        //If acks=0, then the producer will not wait for any acknowledgment from the server at all.
        props.put("acks", "0");
        props.put("client.id", "vehicleProducer");
        props.put("retries", 0);
        props.put("batch.size", 50);
        props.put("linger.ms", 0);
        props.put("buffer.memory", 1024);
        props.put("key.serializer", "org.apache.kafka.common.serialization.IntegerSerializer");
        props.put("value.serializer", "com.iov.safety.fullvehicleproducer.CarFullDataSerializer");

Kafka Consumer配置:

        props.put("group.id", "test");
        props.put("enable.auto.commit", "true");
        props.put("auto.commit.interval.ms", "1000");
        props.put("session.timeout.ms", "30000");
        props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
        props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

Kafka Spark使用者配置:

        kafkaParams.put("bootstrap.servers", BOOTSTRAP_SERVERS_RSU2_EDUROAM);
        kafkaParams.put("key.deserializer", StringDeserializer.class);
        kafkaParams.put("value.deserializer", CarDataDeserializer.class);
        kafkaParams.put("group.id", "test-consumer-group");
        kafkaParams.put("auto.offset.reset", "latest");
        kafkaParams.put("enable.auto.commit", false);

我希望增加生产者数量会增加卡夫卡消费者方面的RTT。

0 个答案:

没有答案