从多个服务器读取日志文件到kafka的体系结构

时间:2019-01-31 09:54:37

标签: kafka-producer-api

我们有一个场景,我们必须从位于不同位置的50种不同类型的服务器中读取日志文件。因此,尝试了解通过Kafka实现此目标的典型体系结构设置。每天的数据量约为4TB。 例如

  • 我们需要在运行生产者的每台服务器上安装Kafka还是仅仅是jar部署?

  • 每个服务器应该有一个单独的主题还是每个类似的日志结构有一个单独的主题?

  • 这种数量所需的典型经纪人数。

  • 我们需要任何Kafka REST服务或架构注册表吗?

0 个答案:

没有答案