Clickhouse kafka表引擎与许多消费者

时间:2018-03-21 13:34:11

标签: apache-kafka clickhouse

我计划使用此方法将我的kafka主题摄取到SummingMergeTree中,使用Clickhouse进行一些测试:https://clickhouse.yandex/docs/en/table_engines/kafka/

对于我在开发环境中的测试,我不怕数量,但在生产环境中我们已经在消费这些主题,我们必须让许多消费者能够尽可能快地阅读消息推进。我的问题是:Clickhouse是否有办法在一张桌子上装有卡夫卡引擎的许多卡夫卡消费者?

谢谢,

罗马里克

1 个答案:

答案 0 :(得分:1)

阅读文档似乎num_consumers引擎中的Kafka参数正是您所需要的:

  

num_consumers - 每个表的消费者数量。默认值:1。指定   如果一个消费者的吞吐量不足,消费者将更多。该   消费者总数不应超过分区数   在主题中,因为每个分区只能分配一个消费者。