卡夫卡引擎未消耗某些数据

Question

我们正在使用kafka引擎连接kafka主题，然后使用MATERIALIZED VIEW存储数据。

但是有时，kafka-engine并没有消耗一些数据（因为我们还应用了flume将数据放入hdfs文件中，而这些丢失的数据可以在hdfs文件中找到）。

除了升级clcikhouse服务器版本（我们正在升级Clickhouse服务器的方式）之外，是否还有其他方法可以找到与所定位问题相关的日志

Answer 1

您可以通过将<kafka><debug>all</debug></kafka>片段添加到clickhouse config.xml文件中来启用rdkafka日志

日志将被写入/ var / log / clickhouse-server / stderr文件（在docker中-到docker日志）。