Kafka-HDFS-Connector-从Kafka向Hadoop发送数据

时间:2018-03-29 08:19:26

标签: hadoop apache-kafka hdfs confluent-kafka confluent

在机器中 A kafka正在运行且机器 B 已安装hadoop。 现在我想从kafka向hadoop写入数据。 我在机器中安装了Confluent A

任何人都可以指导我必须添加哪些配置来将数据从kafka写入hadoop并在不同的机器上运行

1 个答案:

答案 0 :(得分:2)

您可以找到Kafka Connect HDFS connector here的完整文档。

quickstart中有一个教程。要试用它,请根据需要修改etc/kafka-connect-hdfs/quickstart-hdfs.properties,然后使用

加载它
confluent load hdfs-sink -d etc/kafka-connect-hdfs/quickstart-hdfs.properties