卡夫卡邮件的批处理

Question

寻找关于我要对主题中的消息进行的处理类型的想法。我希望能够以大约10,000个批处理消息，事件。这是因为我将转换后的消息插入到我们的雪花仓库中。雪花载荷在批载荷下表现更好。关于建立一个仅在主题中有10,000条消息后才从该主题中提取消息的使用者的想法？ IOW，一旦滞后达到10,000，就从主题中提取消息。关于如何建立这样的消费者有什么想法？

Answer 1

等待1万条记录似乎是可行的，但是请记住，您将等待的记录数量越多，延迟就越大。此外，如果每个记录的大小都很重要，则可能会产生一些流量。

为此，您必须使用不同种类的参数（客户端和群集端）。

客户端，您必须使用： max.poll.records fetch.max.bytes

集群侧： max.partition.fetch.bytes message.max.bytes（经纪人和主题配置）

您将在这里找到有关这些参数的所有详细信息： https://kafka.apache.org/documentation/

另外，另一个处理类似问题的stackoverflow帖子： Increase the number of messages read by a Kafka consumer in a single poll

Yannick

Answer 2

最好为Snowflake使用Kafka Connect连接器：https://docs.snowflake.net/manuals/user-guide/kafka-connector.html。

Kafka Connect专为进行流集成而构建，此连接器由Snowflake编写。