Question

我试图从Flume来源写到Kafka话题。水槽中有kafka频道，这位Cloudera post作者说可以使用kafka频道

直接从Flume来源写入Kafka，无需额外缓冲。

但是，当我试图从我的配置中排除水槽时，水槽说

验证此配置时发生错误：组件tier1.sinks：缺少属性值。

我是否真的需要写入kafka频道并回读再次写入kafka接收器？这对我来说似乎很奇怪......

Answer 1

不，你不需要这样做，请告诉我你的配置文件。

Flume 1.7中的样本如下：

source config etc...

agent1.channels.channel_sample.type = org.apache.flume.channel.kafka.KafkaChannel
agent1.channels.channel_sample.kafka.bootstrap.servers = hostnameorip:9092,hostnameorip:9092
agent1.channels.channel_sample.kafka.topic = topic_sample
agent1.channels.channel_sample.kafka.consumer.group.id = consumer_group_sample

如果您不需要任何接收器绑定到此channel_sample， kafka.consumer.group.id 则不是必需的。

有关详情，请参阅https://flume.apache.org/FlumeUserGuide.html#kafka-channel

注意文档中有一个错误， kafka.consumer.auto.offset.reset 的默认值最早不是最新的

没有KafkaSink的Flume KafkaChannel？

1 个答案: