是否可以使用水槽作为kafka生产者进行日志摄取？

Question

我的任务是为应用程序日志提取配置一个简单的管道。 此管道的先决条件是使用kafka作为传输协议。 据我了解，flume具有摄取日志文件的内置功能。 有没有办法将水槽用作生产者，并将其输出传递给kafka主题？

Answer 1

是的，你可以使用Flume作为Kafka的制作人。 请查看Flume提供的此API：https://flume.apache.org/releases/content/1.6.0/apidocs/org/apache/flume/sink/kafka/KafkaSink.html

Answer 2

是的，你可以使用。如前一个回复中所述。

只想添加您需要进行类似以下的配置：

# Sources, channels, and sinks are defined per
# agent name, in this case flume1.
flume1.sources  = kafka-source-1
flume1.channels = hdfs-channel-1
flume1.sinks    = hdfs-sink-1

# For each source, channel, and sink, set
# standard properties.
flume1.sources.kafka-source-1.type = org.apache.flume.source.kafka.KafkaSource
flume1.sources.kafka-source-1.zookeeperConnect = ...