kafka connect的雪花连接器的消息大小是否有上限？

Question

用例是，每当有一条大消息（> 1MB）时，我们便将其存储在S3上，并且所生成的Kafka事件只是通过URL指向这些消息。

因此，在通过此连接器将数据发送到雪花之前，我想使用SMT从S3 URL下载实际的大消息。我应该注意的雪花connector是否有上限？

Answer 1

默认情况下，Kafka代理可以使用默认配置设置处理高达1MB（实际上小于1MB）的消息，但是请注意，Kafka已针对大约1K的小消息进行了优化。您可以更改它，但是将大型邮件发送到kafka并不是一个好习惯。一种选择是是否可以压缩或拆分邮件。请看一下kafka中的以下配置

message.max.bytes

replica.fetch.max.bytes

fetch.message.max.bytes

最大请求大小