使用水槽的kafka频道中的动态主题

时间:2015-07-12 03:21:07

标签: hadoop flume flume-ng apache-kafka

是否可以拥有一个带有动态主题的kafka频道 - 类似于可以指定主题标题的kafka接收器,或者可以使用标题中的值的HDFS接收器?

我知道我可以多路复用以使用多个通道(使用一堆通道配置),但这是不可取的,因为我希望有一个动态HDFS接收器,而不是每个kafka通道的HDFS接收器。

1 个答案:

答案 0 :(得分:0)

我的理解是Flume Kafka频道只能映射到一个主题,因为它既产生又消耗了该特定主题的日志。

查看来自Flume 1.6.0的KafkaChannel.java中的代码,我可以看到只有一个主题订阅(每个线程有一个消费者)。