融合的Kafka备份和恢复

时间:2018-09-28 14:33:53

标签: apache-kafka confluent

Kafka中是否有一个备份Kafka经纪人数据的程序?
备份和还原在Kafka中如何工作?

注意- 一种方法是创建另一个DC并配置DC间复制。

但是还有其他方法可以备份数据吗?

谢谢!

1 个答案:

答案 0 :(得分:1)

我建议的一种方法是将您的 Kafka 数据连续备份到 HDFS 中。为此,您可以应用 Confluent HDFS-Sink 连接器。您可以将记录存储为Avro或Parquet格式。

另一方面,使用HDFS作为数据源,可以将所有记录重播到Kafka中。

[1]汇合的HDFS接收器:https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html