Apache Kafka与Oracle Goldengate进行远程数据流传输

Question

关于数据整合方案，是否有比较分析将Apache Kafka和Oracle Goldengate用于远程数据流？

在这种情况下，我们必须将来自多个（~100个）来源的感官结构化数据整合到互联网上的单个目的地。

注意：如果我的问题是一般性的，那么您在评论中的问题可以帮助我更准确地描述情况。

提前致谢。

Answer 1

假设100个源都是Oracle数据库，那么如果您想配置vs代码，Oracle Goldengate将是最佳选择。您可以使用Oracle Goldengate来复制＆＃34; 100个来源到一个地方进行处理。

还要记住Oracle Goldengate和Kafka都不是或者，Oracle Goldengate可以将更改提供给Kafka主题。

Answer 2

Striim实际上具有与GoldenGolden相同的更改数据捕获功能，以从oracle捕获数据......并使用Kafka作为底层消息总线。您可以在此处阅读有关如何从数据库执行CDC并将数据流式传输到kafka的教程：

http://www.striim.com/blog/2018/03/tutorial-real-time-database-integration-apache-kafka-change-data-capture/

免责声明：我在striim工作

Answer 3

您可以将Oracle GG for Big Data（Oracle GG）与Kafka客户端结合使用，将消息传递给Kafka主题或最终目的地。使用Oracle GG进行大数据的一个优点是您可以使用上面的链接下载原型和POC的完整版本。

对于您正在调查的RDBMS或基于Java的解决方案的任何GoldenGate风格，这都适用。 Oracle GG可以从许多异构数据源收集数据并将数据泵送到合并点。

您可以通过互联网将数据通过加密跟踪传送到目标，然后交给Kafka客户端。这实际上取决于您选择将数据从源传递到目标的拓扑结构。

另一个考虑因素是Oracle可能能够为您的企业提供基于云的复制服务，以便将数据传递到目的地。