Clickhouse无法从kafka获取所有数据

Question

我试图将一些实时指标从kafka添加到clickhouse，我的查询如下所示

CREATE TABLE queue2 (timestamp String, namespace String, data Float, unit String, plugin_running_on String, version UInt64, last_advertised_time String) ENGINE = Kafka('10.224.54.99:9092', 'outtopic1', 'group2', 'JSONEachRow');

因为它从kafka得到约150行的指标突然停止并显示

156 rows in set. Elapsed: 11.245 sec.

但是kafka中的数据仍然存在，需要推送到Clickhouse ......可能是什么问题？有人可以帮助我

Answer 1

您是否按照documentation中的建议对Kafka表使用MATERIALIZED VIEW？

如果您使用MATERIALIZED VIEW，那么来自Kafka的所有消息都将插入到视图中。所以在这种情况下，你应该从视图中选择，而不是从Kafka表中选择。

如果您不使用MATERIALIZED VIEW，那么您只能从kafka表中查询一次新消息。 当您再次查询时，查询将不会再次返回相同的消息，因为它已经从Kafka消耗了一次。

此外，您可以检查ClickHouse日志（/var/log/clickhouse-server/clickhouse-server.log）是否存在错误。

另外，请确保您没有任何其他具有相同group-topic的Kafka使用者（或ClickHouse kafka表），因为在Kafka使用者群组消息中只提取了一次。