logstash输出到kafka - 消息中的主题数据

Question

我想为logstash创建一个conf文件，用于从文件加载数据并将其发送到kafka。

该文件采用json格式，其中包含topicId。

这是我到目前为止所拥有的......

input {
   file {
    path => "~/file1.json"
    start_position => "beginning"
    codec => "json"
  }
}
filter {
    json {
        source => message
    }
}
output {
  kafka { 
    bootstrap_servers => "localhost"
    codec => plain {
        format => "%{message}"
    }
    topic_id =>  "???"
  }
}

可以这样做吗？

此致 IDO

Answer 1

是的，可以做到。

例如，如果消息json包含topic_id键，如：

"topicId": "topic1"

然后在logstash kafka输出插件中：

output {
  kafka { 
    bootstrap_servers => "localhost"
    codec => plain {
        format => "%{message}"
    }
    topic_id =>  "%{topicId}"
  }
}