Kafka主题查看器？

Question

我想调试一些Kafka主题，所以我知道这里的消费者或生产者是否有错。

是否存在用于Kafka的UI，可以在其中查看主题包含哪些消息？ 翻斗车也很好，所以我可以自己搜索东西。

Answer 1

我们使用Landoop's Kafka Topics UI，这非常好。您可以查看主题内容和信息（例如分区数，配置等），还可以导出主题内容。

Answer 2

我将第二次提出Yoni Gibb对Landoop产品的建议。我也在开发中使用它，发现它非常有用。尽管您可能需要围绕超时和大小调整一些设置才能查看所有消息。易于安装，只需拉Docker image。

Kafkacat也很有用，但是不能同时监视许多主题并保持运行状态。

Answer 3

这取决于您要使用哪种类型的UI，以及您是否准备沿商业路线走，还是需要开源。有一些社区项目提供命令行界面，基于Web的UI工具和桌面工具。

CLI工具

• Kafka在$KAFKA_HOME/bin中拥有的工具，例如kafka-console-consumer.sh（用于阅读本主题），以及其他工具，例如kafka-topics.sh和kafka-configs.sh，用于管理任务。
• Kafkacat用于浏览主题和发布消息。在撰写本文时，它还支持消息标题的打印（不同于Kafka的内置工具）。

基于Web的工具

• Kafdrop 3-提供代理信息，并让您浏览主题内容（文本和Avro格式）。这是原始Kafdrop项目的最新分支，该项目一直得到积极维护，并与Docker和Kubernetes良好配合。 （温和的免责声明：我当时一直在为该工具做出贡献，但我不是原始作者。）
• Burrow-监视消费者组的滞后并在消费者落后时发出警报。严格来讲，这并不是您所提问题的“主题浏览工具”，但是它确实提供了有关消息使用问题（阻塞或大量积压的消费者）的主要指示，我认为这是问题的总体要旨。我们已经在生产中使用此工具已有多年了，它确实可以按照包装盒上的标签上的说明进行操作，并且非常有用。

台式机工具

• Kafka Tool –传递最流行的桌面工具系列。这非常简单，并且仅适用于台式机（Win，Linux，macOS）。对于在开发箱上连接到本地Kafka很有用，但对于连接到生产集群（访问通常仅限于环境）的作用不大。另外，这是一种商业工具，具有非商业用途的有限许可。
• KaDeck-一种更新的商业工具，具有仅支持桌面的基本社区版本。

为了解决这个问题，您应该可以通过包装Kafka使用者库来轻松构建“倾销者”风格的应用程序。我认为您最好只使用内置工具，而您可能只是在重新发明轮子，但是为了完整性起见，必须包括在内。

Answer 4

（免费）Kafka工具的质量充其量是零散的，恕我直言，它不能与整个Kafka平台相提并论。为了仅查看有关该主题的消息，您可以选择一些基于Web的CLI和桌面工具。

网络

：

继续使用Kafdrop 3。我们在商业环境中使用，它几乎可以完成我们需要的一切。让我们查看代理统计信息，浏览主题（按分区查看消息），使用者组（并显示滞后时间）。

CLI：

Kafka附带了一套CLI工具，但是它们只是需要做的。 Kafkacat可以方便地将其中一些工具组合为一个，并且（不同于本机的Kafka工具）还可以让您查看邮件标题。

台式机：

Kafkatool是相当普遍的一种（免费用于非商业用途），但是我们已经停止使用它了-部分是由于许可，部分是因为它仅在运行本地Kafka时才真正有用经纪人。它可以连接到远程代理，但是如果要在生产环境之外公开代理端口，则必须修改advertised.listeners，出于安全考虑，大多数人都避免这样做。仍然对本地有用。