无法使用ClickHouse中主题分区的消息

Question

我正在用kafka进行介绍，我想知道如何像这样从主题分区到ClickHouse表使用消息：

如果我有3个主题，可以很容易地将每个主题的表连接起来

ENGINE = Kafka SETTINGS
  kafka_broker_list = 'broker:9092',
  kafka_topic_list = 'topic1',
  kafka_group_name = 'kafka_group',
  kafka_format = 'JSONEachRow'

但是我不知道如何从一个主题的分区到表使用消息。请帮助

Answer 1

您可以通过多种方式

1. 保留消息中的标识符，如下所示。在您的使用者中，您可以读取表属性并决定必须在哪个表中保存数据。

   {   表格：Table1 }

2. 尽管kafka不提供任何直接方法来生成特定分区的方法，但是您可以使用key。让我们使键具有三个值1,2,3。当为Table1生成消息时，请使用键1。这样，消息将仅到达一个分区，然后该分区的使用者可以将数据保存在Table1中。

我个人更喜欢方法1，因为它不会将kafka处理与您的业务逻辑相结合