我有Filebeat输出到Kafka主题,并希望使用Avro架构确保消息的格式正确。
在Filebeat文档中,提到了两种可能的输出编解码器,JSON
或format
在Kafka中,Schema注册表可用于存储Avro架构。
我的问题:
Filebeat是否可以发送Avro消息(针对Avro架构进行验证);如果是这样,架构可以从Schema注册表链接,因此不需要在每个新版本的架构上进行物理复制吗?
Filebeat的JSON
或format
消息可以被Kafka视为Avro吗?
如果Filebeat无法生成经过验证的Avro消息,那么在尝试写入主题时,是否可以在Kafka的身边验证JSON发送?如果是这样,可以在某处丢弃或记录无效消息吗?