我是Kafka的新手。我正在将请求发送到REST服务器,并将请求的响应作为消息发送到kafka服务器。
当我使用来自消费者的数据时,该消息被拆分为多个较小的消息。我如何避免这种情况。响应是一个JSON行。我希望每个json行都是一条消息。任何帮助,将不胜感激。 Json的大小也不是很大。超过1500行的json约为2 MB
例如
ConsumerRecord(topic ='meetup_sample',partition = 0,offset = 445386,> timestamp = 1530554568191,timestamp_type = 0,> key = b'5fa4964b035c072a81fedb93cfca8f0ecb562cf913c69f63efbbf4e799871f05',> value = b':“食物和食物” “ topic_name”:“食物和饮料”},{“ urlkey”:“新城”,“ topic_name”:“新城”},{“ urlkey”:“啤酒”,“ topic_name”',> checksum = None, serialized_key_size = 64,serialized_value_size = 128) ConsumerRecord(topic ='meetup_sample',partition = 0,offset = 445387,> timestamp = 1530554568192,timestamp_type = 0,> key = b'1f170ceabf91335d332487ebb0890f0bd0ed69018c618ecc2c789a260d561f43',> value = b':“啤酒”} :,“” game-night“,” topic_name“:”游戏之夜“},{” urlkey“:”欢乐时光“,” topic_name“:”欢乐时光“},{” urlkey“:” water-s',> checksum =无,serialized_key_size = 64,serialized_value_size = 128)