使用hdfs作为kafka的后端存储，是否可行？

Question

Kafka作为消息pubsub系统，需要在本地存储数据并进行复制以避免在崩溃时丢失。我的想法是修改Kafka让它直接将数据写入hdfs，因此不需要进行复制，使Kafka更简单，是否可行？

Answer 1

可能，也许。一个好主意？几乎肯定不是。 Kafka本身可以持久保存数据，并跨多个节点管理复制和弹性，以实现冗余和性能。将HDFS融入混合中毫无意义。

Answer 2

如果您不使用复制，如果代理失败，您将无法将数据发送到分区，并且您将无法从该点接收任何数据。 复制不仅仅是在代理崩溃时保存数据，还可以确保系统的健壮性。