通过单个应用将Kafka流用于不同进程的最佳方法

时间:2018-12-07 19:01:04

标签: apache-kafka kafka-consumer-api apache-kafka-streams

我想在kafka代理之间实现镜像机制,并找到kafka流作为一种很好的解决方案。

但是现在我有一个问题需要解决:我应该对要镜像的所有主题使用单个kafka流对象,还是最好为每个主题创建单独的实例。

第二种方法具有多个优点,所有镜像过程都是松散耦合的,如果其中一个失败,其他镜像过程将起作用。同样,每个镜像可以配置不同,这很好。它不会对已加载和未加载的所有主题使用单个线程池。尽管它有明显的睡-我应该为每个进程使用专用的application.id。

那么从卡夫卡流概念的角度来看,最好的方法是什么?由于应该镜像的主题数量可能超过100个,因此每个主题的负载都很大。

编辑:问题不是关于镜像解决方案,而是关于使用同一应用程序在不同进程中使用kafka流的最佳方法。

0 个答案:

没有答案