我们可以使用kafka生产者一口气向kafka主题发送多少消息

时间:2019-06-25 15:00:42

标签: kafka-producer-api

我正在尝试向kafka主题发送1万条记录的批量消息。生产者应用程序可以很好地处理3k记录,但对于大容量加载,它会抛出错误Failed to construct kafka producer

BOOTSTRAP_SERVER: xyz
TOPIC: xyz_topic
ACK: all
BATCH_SIZE: 16384
BUFFER_MEMORY: 33554432
BLOCK_ON_BUFFER_FULL: true
MAX_REQUEST_SIZE: 5048576
MAX_MESSAGE_BYTE: 5000000
MESSAGE_MAX_BYTE: 5000000
CLIENT_ID: kafka_producer
LINGER_MS: 3
RETRIES: 3
RETRY_BACKOFF_MS: 100

请提供我缺少的任何配置。

0 个答案:

没有答案