在机器中 A kafka正在运行且机器 B 已安装hadoop。 现在我想从kafka向hadoop写入数据。 我在机器中安装了Confluent A 。
任何人都可以指导我必须添加哪些配置来将数据从kafka写入hadoop并在不同的机器上运行
答案 0 :(得分:2)
您可以找到Kafka Connect HDFS connector here的完整文档。
quickstart中有一个教程。要试用它,请根据需要修改etc/kafka-connect-hdfs/quickstart-hdfs.properties
,然后使用
confluent load hdfs-sink -d etc/kafka-connect-hdfs/quickstart-hdfs.properties