标签： apache-kafka high-availability distributed-system
我有一个处理日志数据流的服务。数据通过负载平衡器发送到FE节点的集群，这些FE节点进行一些初始数据解析，然后将数据发布到KAFKA事件系统。在订户侧，另一组BE节点接收这些事件并进行进一步处理。现在，我遇到的问题是，FE节点之一偶尔会在接收数据后死亡，而不会将数据发布到KAFKA，偶尔BE节点之一会在接收事件后且在处理过程中死亡。在这两种情况下，最终结果都是数据丢失。
如何防止两种情况发生以防止数据丢失？我有什么选择？