Kafka邮件在使用者中分拆

时间:2018-07-02 18:32:28

标签: python-3.x apache-kafka streaming

我是Kafka的新手。我正在将请求发送到REST服务器,并将请求的响应作为消息发送到kafka服务器。

当我使用来自消费者的数据时,该消息被拆分为多个较小的消息。我如何避免这种情况。响应是一个JSON行。我希望每个json行都是一条消息。任何帮助,将不胜感激。 Json的大小也不是很大。超过1500行的json约为2 MB

例如

  

ConsumerRecord(topic ='meetup_sample',partition = 0,offset = 445386,> timestamp = 1530554568191,timestamp_type = 0,> key = b'5fa4964b035c072a81fedb93cfca8f0ecb562cf913c69f63efbbf4e799871f05',> value = b':“食物和食物” “ topic_name”:“食物和饮料”},{“ urlkey”:“新城”,“ topic_name”:“新城”},{“ urlkey”:“啤酒”,“ topic_name”',> checksum = None, serialized_key_size = 64,serialized_value_size = 128)      ConsumerRecord(topic ='meetup_sample',partition = 0,offset = 445387,> timestamp = 1530554568192,timestamp_type = 0,> key = b'1f170ceabf91335d332487ebb0890f0bd0ed69018c618ecc2c789a260d561f43',> value = b':“啤酒”} :,“” game-night“,” topic_name“:”游戏之夜“},{” urlkey“:”欢乐时光“,” topic_name“:”欢乐时光“},{” urlkey“:” water-s',> checksum =无,serialized_key_size = 64,serialized_value_size = 128)

0 个答案:

没有答案