HDFS格式的Apache Kafka主题数据

时间:2018-01-12 13:52:11

标签: apache-kafka

目前我已将kafka安装到linux并创建主题并向其发布消息,并将数据保存在文件夹 / tmp / kafka-logs / topicname-0 中,我检查本地文件系统类型是 xfs ,有没有什么方法kafka可以以 HDFS 文件系统类型的格式保存数据,如果有帮助我配置或步骤。

1 个答案:

答案 0 :(得分:1)

Kafka运行在本地文件系统之上。它无法在HDFS上运行。如果要将数据从Kafka移动到HDFS,一个选项是使用连接器将数据推送到HDFS https://docs.confluent.io/current/connect/connect-hdfs/docs/index.html