Kafka生产者在网络分区期间的表现如何?

时间:2014-07-31 12:56:22

标签: apache-kafka

我的理解是Kafka制作人向Kafka经纪人群发送消息。我的问题是,在网络分区期间kafka制作人的行为是什么?如果分区太长(并且音量太高),最终消息会丢失吗?

此外,如果系统在分区期间崩溃,那么kafka队列中的所有消息都会丢失吗?

1 个答案:

答案 0 :(得分:3)

Ludd的评论回答。根据链接中的视频,如果发生分区(或代理中断),它们不支持溢出到磁盘。提到了一个" Go"客户,做了别人写的东西。目前还没有计划在这个Producer功能上工作;他们目前的重点是集群和消费者。

视频中提到,这不是他们的优先考虑事项,至少出于某种原因,他们会对数据进行延迟数据"。我认为Kafaka的很多用例都是基于实时的,所以如果生产者断开连接几个小时,那么获得几个小时的数据突发将是“奇怪的”#34;。

猜猜这是有道理的,因为那时你的消费者必须以某种方式处理那些滞后数据(即这是一个应用问题)。