我计划使用此方法将我的kafka主题摄取到SummingMergeTree中,使用Clickhouse进行一些测试:https://clickhouse.yandex/docs/en/table_engines/kafka/
对于我在开发环境中的测试,我不怕数量,但在生产环境中我们已经在消费这些主题,我们必须让许多消费者能够尽可能快地阅读消息推进。我的问题是:Clickhouse是否有办法在一张桌子上装有卡夫卡引擎的许多卡夫卡消费者?
谢谢,
罗马里克
答案 0 :(得分:1)
阅读文档似乎num_consumers
引擎中的Kafka
参数正是您所需要的:
num_consumers - 每个表的消费者数量。默认值:1。指定 如果一个消费者的吞吐量不足,消费者将更多。该 消费者总数不应超过分区数 在主题中,因为每个分区只能分配一个消费者。