是否可以验证/过滤发送到Kafka主题的消息?
就像,我想确保只有有效的客户端/生产者向我的主题发送消息。我当然可以通过根据某些参数/标准丢弃无效消息来在消费者方面进行验证。但是,如果我想在将消息写入主题之前执行该操作,该怎么办?
说,Kafka收到一条消息,执行一些验证,然后决定是否需要丢弃或将该消息写入主题。这可能吗?
答案 0 :(得分:5)
简短回答 - 当前版本的Kafka不支持开箱即用的此类功能。由于Kafka生产者被设计为在单个会话期间与多个代理进行通信,因此没有简单的方法来实现这种ad-hoc过滤。 有几个合理的选择仍然存在: