是否有可以从Kafka主题中读取的Elastic Search Beat

Question

我有一个ELK设置，其输​​出直接进入弹性搜索而不是Logstash。我们正在使用具有基本许可证的ELK版本7.3.2，并在Linux RedHat下运行。

我们有3个Kafka节点和2个Cassandra节点的拓扑。 我能够使用默认设置配置metricbeat。该指标显示了通过此VM主机传来的Kafka组和主题名称，但不足以查看使用者是否失败。

配置可对3个Kafka节点执行ping操作的心跳很容易。

这对我的团队来说还不够。

• 为什么metricbeat选择Kafka主题？
• 是否可以安装和配置Beat以便直接从Kafka主题阅读？
• 是否可以设置metricbeat以从Kafka读取并输出到Elastic Search中？

Answer 1

Metricbeat不仅在系统级别上收集指标，而且还从该系统上运行的服务中收集指标。 以下是list个Metricbeat中包含的度量标准收集模块。 该列表涵盖了许多服务和平台，包括Kafka。

关于如何从Kafka主题读入Elasticsearch的问题，显而易见的方法是使用logstash或Kafka Connect。 Elasticsearch有一个受支持的融合connector。

没有可直接从Kafka主题阅读的受支持的Beat。但是经过一番研究，我发现了JustSocialLabs开发的一个。我还没试过我同时使用Logstash和Kafka connect的经验是足够的。但是，如果您愿意，可以试一试。