我正在尝试使用logstash获取metricbeat数据。 (Kafka作为输入,ElasticSearch作为输出)。
input {
kafka {
bootstrap_servers => "XX.XX.XXX.XX:9092"
topics => ["cc-data"]
}
}
output {
elasticsearch {
hosts => ["XX.XX.XXX.XX:9200"]
index => "metricbeat-%{+YYYY.MM.dd}"
}
}
在输出中,我将数据视为:
{
"_index" : "metricbeat-2017.01.18",
"_type" : "logs",
"_id" : "AVmzQUytyldhSr4kUaUS",
"_score" : 1.0,
"_source" : {
"@timestamp" : "2017-01-18T20:21:45.324Z",
"@version" : "1",
"message" : "{\"@timestamp\":\"2017-01-18T20:21:44.394Z\",\"beat\":{\"hostname\":\"ip-XX-XXX-XX-XXX\",\"name\":\"ip-XX-XXX-XX-XXX\",\"version\":\"5.0.0\"},\"metricset\":{\"module\":\"system\",\"name\":\"process\",\"rtt\":104061},\"system\":{\"process\":{\"cpu\":{\"start_time\":\"2016-08-03T10:10:17.000Z\",\"total\":{\"pct\":0.000000}},\"fd\":{\"limit\":{\"hard\":4096,\"soft\":1024},\"open\":0},\"memory\":{\"rss\":{\"bytes\":0,\"pct\":0.000000},\"share\":0,\"size\":0},\"name\":\"migration/2\",\"pgid\":0,\"pid\":47,\"ppid\":2,\"state\":\"sleeping\",\"username\":\"root\"}},\"type\":\"metricsets\"}"
}
}
]
}
}
我不想"消息"仅字段..相反,该字段中的所有数据应该显示为[想要删除"消息"单独的字段名称 - 但应显示的内容]如何单独删除字段名称,并保持内容不变。
任何人都可以帮助我们如何实现这一目标?
答案 0 :(得分:0)
默认情况下,kafka
输入具有plain
编解码器,这意味着它使用主题并将内容解释为纯字符串。您需要的是将编解码器更改为json
,以便将内容解析为JSON结构:
input {
kafka {
bootstrap_servers => "XX.XX.XXX.XX:9092"
topics => ["cc-data"]
codec => "json" # <---- add this
}
}