卡夫卡是否保证零邮件丢失？

Question

我正在阅读与此矛盾的观点。我有一个重要的应用程序，每条消息都很重要。那么，kafka是否可以在与IBM MQ等其他传统消息传递系统相同的水平上保证零消息丢失？

Answer 1

每个 topic ，都是特定的数据流（类似于数据库中的表）。主题分为 partitions （任意多个），分区中的每条消息都会获得一个增量ID，称为偏移量，如下所示。

分区0：

+---+---+---+-----+
| 0 | 1 | 2 | ... |
+---+---+---+-----+

分区1：

+---+---+---+---+----+
| 0 | 1 | 2 | 3 | .. |
+---+---+---+---+----+

现在，Kafka集群由多个经纪人组成。每个代理都有一个ID标识，并且可以包含某些主题分区。

2个主题的示例（每个主题分别具有3个分区和2个分区）：

经纪人1：

+-------------------+
|      Topic 1      |
|    Partition 0    |
|                   |
|                   |
|     Topic 2       |
|   Partition 1     |
+-------------------+

经纪人2：

+-------------------+
|      Topic 1      |
|    Partition 2    |
|                   |
|                   |
|     Topic 2       |
|   Partition 0     |
+-------------------+

经纪人3：

+-------------------+
|      Topic 1      |
|    Partition 1    |
|                   |
|                   |
|                   |
|                   |
+-------------------+

请注意，数据是分布式的（并且经纪人3 不保存任何主题2 的数据）。

主题，应该具有replication-factor> 1（通常为2或3），以便在代理崩溃时，另一个代理可以提供主题数据。例如，假设我们有一个包含2个分区的主题，其中replication-factor设置为3，如下所示：

经纪人1：

+-------------------+
|      Topic 1      |
|    Partition 0    |
|                   |
|                   |
|                   |
|                   |
+-------------------+

经纪人2：

+-------------------+
|      Topic 1      |
|    Partition 0    |
|                   |
|                   |
|     Topic 1       |
|   Partition 0     |
+-------------------+

经纪人3：

+-------------------+
|      Topic 1      |
|    Partition 1    |
|                   |
|                   |
|                   |
|                   |
+-------------------+

现在假定经纪人2 失败了。 经纪人1 和3仍然可以为主题1提供数据。因此，replication-factor为3始终是一个好主意，因为它允许出于维护目的以及出于维护目的而删除一个经纪人。另一个被意外删除。 因此，Apache-Kafka提供了强大的耐用性和容错保证。

有关领导者的说明： 在任何时候，只有一个代理可以成为分区的领导者，并且只有该领导者可以接收和提供该分区的数据。其余的代理将仅同步数据（同步副本）。另请注意，当replication-factor设置为1时，如果代理失败，则 leader 不能移到其他位置。通常，当分区的所有副本失败或脱机时，leader将自动设置为-1。