如何使用无源的Kafka通道配置Flume?

时间:2019-04-10 12:38:50

标签: apache-kafka channel flume

它抱怨配置中是否未指定源。根据文档:

Kafka频道可用于多种情况:

  1. 带有Flume源和接收器-它提供了可靠且高度可靠的 可用的事件频道

  2. 具有Flume源代码和拦截器,但没有接收器-允许将Flume事件写入Kafka主题,以供其他应用程序使用

  3. 使用Flume接收器,但没有源-这是一种低延迟,容错的方式,可将事件从Kafka发送到Flume接收器,例如HDFS,HBase或Solr

https://flume.apache.org/FlumeUserGuide.html

我对场景3感兴趣,但是在正式的水槽文档中没有这样的例子。

致谢

2 个答案:

答案 0 :(得分:0)

在较新版本的CDH(本例中为5.14)的flume config中,可以省略

flume代理源。仅发出警告。

答案 1 :(得分:0)

您可以为源提供一些虚拟名称,例如:

agent.sources = dummySource
agent.sinks = hdfsSink
agent.channels = kafkaChnl

,仅提供hdfsSink和kafkaChnl的配置