在Kafka中解释复制偏移检查点和恢复点偏移

Question

有些人可以解释这些文件的含义，存在于kafka经纪人日志中。

  

root @ a2md23297l：/ tmp / kafka-logs-1＃cat recovery-point-offset-checkpoint
  0
  5
  我的话题0 0
  kafkatopic_R2P1_1 0 0
  我的话题1 0
  kafkatopic_R2P1 0 0
  测试0 0
  root @ a2md23297l：/ tmp / kafka-logs-1＃cat replication-offset-checkpoint
  0
  5
  我的话题0 0
  kafkatopic_R2P1_1 0 2
  我的话题1 0
  kafkatopic_R2P1 0 2
  测试0 57

Fyi， my-topic，kafkatopic_R2P1_1，my-topic，kafkatopic_R2P1，test 是创建的主题。 提前谢谢。

Answer 1

AFAIK：recovery-point-offset-checkpoint是内部代理日志，Kafka跟踪哪些消息（从 - 到偏移）成功检查点到磁盘。

replication-offset-checkpoint是内部代理日志，Kafka跟踪哪些消息（从 - 到偏移）成功复制到其他代理。

有关详细信息，您可以访问：kafka/core/src/main/scala/kafka/server/LogOffsetMetadata.scala和ReplicaManager.scala a deeper look。代码评论很好。

Answer 2

Marko就在现场。

起始两个数字（0-不确定这是什么）（5-特定磁盘上存在的分区数）

主题名称旁边的数字（0-主题的分区编号） 下一个数字是刷新到磁盘的偏移量（recovery-point-offset-checpoint）和复制偏​​移检查点最后一个偏移量，副本成功复制数据