ClickHouse Kafka Engine可以使用压缩的JSON消息吗？

Question

ClickHouse Kafka Engine是否可以使用JSONEachRow格式使用来自Kafka主题的压缩JSON消息？

它会自动解压缩消息，然后应用JSON解析吗？ 它需要任何特殊的配置吗？

编辑我的问题是有关通过Kafka主题上的设置压缩配置来压缩主题是否会使ClickHouse无法读取这些消息。

Answer 1

Kafka引擎按原样使用消息-不多也不少。它与从本机文件读取几乎相同，但消息边界可能需要特殊处理。 ClickHouse除了本机序列化块外，不支持读取压缩数据文件。因此答案是否定的，它不能使用压缩的JSON消息。

Answer 2

是的，只要ClickHouse客户端能够理解Kafka主题压缩。例如，较早的版本将无法理解ZStandard压缩，但是他们可以理解例如活泼。 无论是JSON还是其他格式，都取决于指定的解析方法。如果这些消息本身经过压缩（尽管是冗余的），则它们将无法正确解析，如@Amos所说。