我在PC上运行了3个Kafka代理,并触发了(master = local [8]),在其中编写了Java代码以订阅Kafka主题“ A”,处理并发布到Kafka主题“ B”。并在另一台PC上运行4个发布到主题“ A”的Kafka生产者和一个使用Java订阅主题“ B”的Kafka消费者。
我用Kafka用户代码计算了RTT。
问题是: :当我增加Kafka生产者的数量时,我得到的RTT会降低!!
我尝试更改batch.size增大和减小,但是没有用。
Kafka生产者配置:
//If acks=0, then the producer will not wait for any acknowledgment from the server at all.
props.put("acks", "0");
props.put("client.id", "vehicleProducer");
props.put("retries", 0);
props.put("batch.size", 50);
props.put("linger.ms", 0);
props.put("buffer.memory", 1024);
props.put("key.serializer", "org.apache.kafka.common.serialization.IntegerSerializer");
props.put("value.serializer", "com.iov.safety.fullvehicleproducer.CarFullDataSerializer");
Kafka Consumer配置:
props.put("group.id", "test");
props.put("enable.auto.commit", "true");
props.put("auto.commit.interval.ms", "1000");
props.put("session.timeout.ms", "30000");
props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");
Kafka Spark使用者配置:
kafkaParams.put("bootstrap.servers", BOOTSTRAP_SERVERS_RSU2_EDUROAM);
kafkaParams.put("key.deserializer", StringDeserializer.class);
kafkaParams.put("value.deserializer", CarDataDeserializer.class);
kafkaParams.put("group.id", "test-consumer-group");
kafkaParams.put("auto.offset.reset", "latest");
kafkaParams.put("enable.auto.commit", false);
我希望增加生产者数量会增加卡夫卡消费者方面的RTT。