手动将消息刷新到Kafka中的磁盘

Question

我想知道在集群启动并运行时是否有更好的方法来处理从高速缓存到磁盘的数据刷新率，而不需要设置刷新间隔。

Answer 1

否，Kafka仅公开刷新间隔配置，以秒log.flush.interval.ms或消息数log.flush.interval.messages为单位。

冲洗机制在Kafka文档中的几节中有详细介绍：

• Os Flush Management
• Linux Flush behavior

Kafka实际上建议禁用显式刷新（这是默认设置）：

  

我们建议使用默认的冲洗设置，该设置将禁用   应用程序完全同步。这意味着依靠后台冲洗   由操作系统和Kafka自己的后台刷新完成。这提供了   最适合所有用途的全球最佳产品：无旋钮可调节，产量高   和延迟，以及完全恢复保证。我们通常认为   复制提供的保证要强于同步到本地   磁盘，但是偏执狂仍然可能更喜欢同时拥有和   应用程序级fsync策略仍然受支持。