CDC和ETL帮助/建议

Question

这是背景。

我们有几个不同的客户，每个客户都有不同的后端源数据库。我们希望回来获取后端数据库的实时更改，然后将数据转换为目标数据库中的目标模式。之后，向其他应用程序广播一条消息，提醒您更改。

为此，我们需要CDC软件进行变更检测，然后使用一个好的ETL工具将数据转换并加载到目标数据库中。

到目前为止，我们已经看过IBM的CDC。研究仍处于初步阶段，但我只是想让其他人对此有所了解。你为此推荐什么课程？我们是否以正确的方式解决这个问题......意味着CDC软件是否过度杀伤？

Answer 1

大多数数据库都有某种内置的CDC机制（Oracle确实如此）。我会考虑应用Pub / Sub模式并使每个数据库成为发布者，并让目标订阅所有更改。其他应用程序也可以订阅其他通知。 NServiceBus是这种通信的好选择。如果您不想使用本机数据库CDC机制，那么您可以执行一些原始操作并构建一些内容来检测每个数据库供应商的更改（触发器，检查重做日志或其他）。