Apache Kafka中的消息是什么？

Question

我正在阅读有关Apache Kafka的教程。它说netflix在36个集群中拥有4000个经纪人，每天处理超过7,000亿条消息。

当我们在Netflix的背景下交谈时，这些消息指的是什么？

Answer 1

Kafka提供记录流的核心抽象称为主题。您可以将主题想象为数据库中的表。一个数据库（Kafka）可以有多个表（主题）。像在数据库中一样，根据用例，主题可以具有任何类型的记录。

特别是对于Netflix，我们可能有一个主题users，其中包含平台用户：

{"userId":"1", "firstName":"Giorgos", "lastName":"Myrianthous"}

或包含电影详细信息的主题movies：

{"movieID":"1", "title":"Titanic", "genre":"drama", "rating":"5"}

其他主题可能还包括为内部分析/商业智能工具，机器学习算法（如推荐引擎）或警报机制提供服务的数据。

主题中的数据可以用各种类型表示，例如String，JSON或Avro。