kafka-python MessageSizeTooLargeError，即使在增加max_request_size之后也是如此

Question

我在从Kafa制作人向消费者发送巨大的json（~40MB）时面临一个问题。

我在StackOverflow上提到了其他类似的帖子，但仍无法成功。

我在Producer和Consumer中设置了这些参数：

producer = KafkaProducer(bootstrap_servers = kafkaConf.bootstrap_servers, value_serializer = lambda v: json.dumps(v).encode('utf-8'),max_request_size=101626282, buffer_memory=101626282)

consumer = KafkaConsumer(value_deserializer=lambda m: json.loads(m.decode('utf-8')),fetch_max_bytes=101626282)

如你所见，我允许最多约100MB

我甚至压缩了数据，但仍然不成功。

有人可以帮我弄清楚我还需要配置什么吗？

我真的很感激。

谢谢！

Answer 1

http://ingest.tips/2015/01/21/handling-large-messages-kafka/

不确定这是否有帮助，或者您是否已经解决了问题，但本文给出了您需要在代理端设置的配置，以及shakeel中引用的堆栈溢出以上评论。