使用flume将数据从kafka主题导入hdfs文件夹

Question

我正在使用flume从kafka主题HDFS文件夹加载消息。所以，

1. 我创建了一个主题 TT
2. 我使用kafka控制台制作人
向 TT 发送了消息
3. 我配置了水槽剂 FF
4. 运行flume agent flume-ng agent -n FF -c conf -f flume.conf - Dflume.root.logger = INFO，console

代码执行停止，没有错误，也没有向HDFS写入任何内容。日志文件包含此警告   主题的消费者线程flume_-0消耗的代理分区。

非常感谢任何帮助。在此先感谢。:)

Answer 1

这个conf修复了问题

• FF.sources = kafka-source
• FF.channels = kafka-channel
• FF.sinks = hdfs-sink FF.channels.kafka-channel.type org.apache.flume.channel.kafka.KafkaChannel
• FF.channels.kafka-channel.kafka.bootstrap.servers = wided-Latitude：9092
• FF.channels.kafka-channel.kafka.topic = TT
• FF.channels.kafka-channel.parseAsFlumeEvent = false
• FF.sinks.hdfs-sink.hdfs.writeFormat = Text
• FF.sinks.hdfs-sink.channel = kafka-channel
• FF.sinks.hdfs-sink.type = hdfs
• FF.sinks.hdfs-sink.hdfs.path = hdfs：// ***：8020 / spark /