kafka主题字段数量和格式准则

时间:2019-01-07 21:23:45

标签: apache-kafka kafka-producer-api

致力于创建新的Kafka主题,以分享一些信息,请您提供有关行业明智的最佳做法的帮助:

字段数?卡夫卡主题最多可以包含200个字段吗?
要使用的消息格式,(Avro / JSON吗?)
保留天数

1 个答案:

答案 0 :(得分:1)

Kafka没有字段数的概念。它是基于日志的消息传递系统,其中每个事件代表一个包含键,值和时间戳的记录。

Kafka主题可以具有配置message.max.bytes中定义的最大大小的事件。默认情况下,它设置为1 MB,这意味着一个事件的大小不能大于1 MB。但是您可以根据需要更改该值,并存储所需的尽可能多的数据(包含100,200,300左右)。

P.S。不建议使用Kafka存储大消息(即50MB)。

关于消息格式,Avro在其他数据格式中非常流行,但这取决于您的业务用例。 Avro紧凑,具有架构演化支持。

以下是有关数据格式比较的一些要点。 https://www.confluent.io/blog/avro-kafka-data/