Question

我的问题是关于带复制的Kafka检查点，例如，在Kafka生产者异步模式下，复制移动到1到100个操作，比方说kakfka处理了80个操作，而Kafka在81下降了一个小时。 Kafka启动后，复制副本必须从第81个操作重新定位。 Kafka处理程序的情况如何，因为在GG bigdata适配器oracle网站上的任何地方都没有提到任何检查点和比较逻辑。保证复制和适配器从第81个操作开始重新启动。

Answer 1

检查点由Goldengate复制过程与Kafka适配器/处理程序一起处理。Goldengate安装目录的一部分包含用于存储与提取或复制过程相关的文件的子目录，其中一个目录是dirchk。

 dirchk:

Contains the checkpoint files created by Extract and Replicat processes,which store current read and write positions to support data accuracy and fault tolerance. Written in internal Oracle GoldenGate format.

    File name format is group_name+sequence_number.ext where sequence_number is a sequential number appended to aged files and ext is either cpe for Extract checkpoint files or cpr for Replicat checkpoint files.

            Do not edit these files.

            Examples:

            ext1.cpe

            rep1.cpr

您可以从此链接第A.2节中了解有关Goldengate的子目录

https://docs.oracle.com/goldengate/1212/gg-winux/GIMSS/installed_components.htm#GIMSS2361

从链接中浏览与Goldengate相关的命令或ggsci命令 https://docs.oracle.com/goldengate/1212/gg-winux/GWURF/ggsci_commands.htm#GWURF884

从上面的链接1.1.3到与复制有关的部分。一些重要的复制命令是信息复制，滞后复制，同步复制

阅读第10.2节“ Kafka处理程序功能”，其中介绍了有关检查点的信息

https://docs.oracle.com/goldengate/bd123210/gg-bd/GADBD/using-kafka-handler.htm#GADBD460

通过Robin Moffatt ：-)对Goldengate kafka处理程序进行故障排除：-）

https://www.rittmanmead.com/blog/2016/09/using-logdump-to-debug-oracle-goldengate-and-kafka/

适用于Kafka处理程序的Oracle GoldenGate大数据适配器

1 个答案: