KafkaStreams在读取主题时写入磁盘

时间:2018-03-01 12:25:41

标签: java apache-kafka apache-kafka-streams

我一直在调查Kafka Streams应用程序上的磁盘写入,我将拓扑结构减少到最低限度,即:

KStream<String, JsonElement> stream = builder.stream("input-topic");

然而在docker stats我可以看到我的应用程序一直在向磁盘写入内容。我检查了容器,但是看不到任何可疑的文件句柄。

如果我评论上述行,这个问题就会消失,所以我得出一个结论,只是从一个主题中读取某些东西在磁盘上,但我无法猜出是什么和为什么。

另外,我注意到它与提交间隔设置严格相关;增加它会使写入频率降低。每次写入大约130kB的数据。

这是预期的行为吗?

1 个答案:

答案 0 :(得分:5)

Kafka Streams将检查点文件写入本地磁盘。这些检查点文件实际上只用于有状态任务,但即使没有有状态操作也会创建(对于这种情况,检查点文件几乎为空)。

这是一个已知问题,并在即将发布的1.1版本中修复:https://issues.apache.org/jira/browse/KAFKA-6499