我的理解是Kafka制作人向Kafka经纪人群发送消息。我的问题是,在网络分区期间kafka制作人的行为是什么?如果分区太长(并且音量太高),最终消息会丢失吗?
此外,如果系统在分区期间崩溃,那么kafka队列中的所有消息都会丢失吗?
答案 0 :(得分:3)
Ludd的评论回答。根据链接中的视频,如果发生分区(或代理中断),它们不支持溢出到磁盘。提到了一个" Go"客户,做了别人写的东西。目前还没有计划在这个Producer功能上工作;他们目前的重点是集群和消费者。
视频中提到,这不是他们的优先考虑事项,至少出于某种原因,他们会对数据进行延迟数据"。我认为Kafaka的很多用例都是基于实时的,所以如果生产者断开连接几个小时,那么获得几个小时的数据突发将是“奇怪的”#34;。
猜猜这是有道理的,因为那时你的消费者必须以某种方式处理那些滞后数据(即这是一个应用问题)。