kafka在filebeat中记录密钥提取

时间:2019-04-04 12:16:26

标签: apache-kafka filebeat

根据此document

key

Optional Kafka event key. If configured, the event key must be unique and can be extracted from the event using a format string.

但是,在任何地方都没有指定操作方法。

我在文件中有一个事件(json消息),需要使用 filebeat 发送到kafka。

 "message":
 {
    "name": "display",
    "id": "asdf-123",
    "type": "User",
    ...
 }

我试过这样的filebeat.yml:

filebeat.prospectors:
  - input_type: log
    paths:
      - ...
output.kafka:
  codec.format:
    string: '%{[message]}'
  hosts: ["localhost:9091"]
  key: '%{[event.id]}'
  topic: 'my-topic'
  ...

在这里,我尝试从json提取message.id,用作kafka记录键。 这不起作用。

我的问题是,我们如何将文件格式的消息格式化为包含动态密钥。

0 个答案:

没有答案