如何使用FluentD out插件将json消息发送到Kafka?

时间:2019-04-16 09:32:38

标签: apache-kafka fluentd

(我是kafka的新手)我正在尝试在PC上进行这种简单的流利设置,以从txt文件中读取json格式的事件,并将其发送给kafka。我的Zookeeper运行在2181,kafka服务器运行在9092。我运行的kafka控制台使用者正在监听主题“事件”,但是我看不到事件的接收。知道我想念什么吗?

我可以看到事件是从第一个匹配配置发送到td-agent stdout的。

我的完整td-agent配置看起来像这样

<source>
  @type tail
  path D:/Events/*.txt
  path_key tailed_path
  tag event
  format json 
    time_key timeStamp
    keep_time_key true
</source>
<match event.**>
  @type stdout
</match>
<match event.**>
  @type kafka_buffered

  # list of seed brokers
  brokers localhost:9092

  # buffer settings
  buffer_type file
  buffer_path C:/var/log/td-agent/buffer/td
  flush_interval 3s

  # topic settings
  default_topic events

  # data type settings
  output_data_type json
  compression_codec gzip

  # producer settings
  max_send_retries 1
  required_acks -1
</match>

0 个答案:

没有答案