使用
ELK Stack ver 7.3.2
Linux RedHat 6.9 (Santiago)
Kafka Client 2.1
将kafka-input-plugin
与Logstash一起使用。
Kibana已启动并正在运行。
弹性搜索已配置为与Kibana一起运行。
Kibana与Elastic search在同一台VM上运行。
听觉正在运行。
Filebeat正在运行。
Logstash输入是一个Kafka主题,并配置为输出到Elastic。
我看不到应该由Elastic生成并放在Kibana上的索引。
这是Logstash的简单配置
input {
kafka {
bootstrap_servers => "nydvalkafvm01.tradeware.com:9092"
topics => ["cat.dev1.service.NJPW7DT004.SM1"]
}
}
output {
elasticsearch {
hosts => ["http://nyuatalcasvm01:9200"]
index => "test_boris"
workers => 1
#user => "elastic"
#password => "changeme"
}
}
这是控制台输出
[2019-09-20T22:02:00,444][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Revoking previously assigned partitions []
[2019-09-20T22:02:00,445][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] (Re-)joining group
[2019-09-20T22:02:00,506][INFO ][logstash.agent ] Successfully started Logstash API endpoint {:port=>9600}
[2019-09-20T22:02:00,521][INFO ][org.apache.kafka.clients.consumer.internals.AbstractCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Successfully joined group with generation 13
[2019-09-20T22:02:00,522][INFO ][org.apache.kafka.clients.consumer.internals.ConsumerCoordinator] [Consumer clientId=logstash-0, groupId=logstash] Setting newly assigned partitions [cat.dev1.service.NJPW7DT004.SM1-0, cat.dev1.service.NJPW7DT004.SM1-1]
我希望在Kibana Management中看到索引“ test_boris” 配置中缺少什么吗?
答案 0 :(得分:1)
在logstash处理最终在索引中发生的事件之前,不会创建索引。因此,根本问题可能是kafka主题没有任何内容。