致力于创建新的Kafka主题,以分享一些信息,请您提供有关行业明智的最佳做法的帮助:
字段数?卡夫卡主题最多可以包含200个字段吗?
要使用的消息格式,(Avro / JSON吗?)
保留天数
答案 0 :(得分:1)
Kafka没有字段数的概念。它是基于日志的消息传递系统,其中每个事件代表一个包含键,值和时间戳的记录。
Kafka主题可以具有配置message.max.bytes
中定义的最大大小的事件。默认情况下,它设置为1 MB
,这意味着一个事件的大小不能大于1 MB。但是您可以根据需要更改该值,并存储所需的尽可能多的数据(包含100,200,300左右)。
P.S。不建议使用Kafka存储大消息(即50MB)。
关于消息格式,Avro在其他数据格式中非常流行,但这取决于您的业务用例。 Avro紧凑,具有架构演化支持。
以下是有关数据格式比较的一些要点。 https://www.confluent.io/blog/avro-kafka-data/