有关将数据从运营Oracle RDBMS移至GCP BigQuery或云存储的建议

Question

我想知道是否有人基于如何将每日数据从本地Oracle RDBMS移至BigQuery和Cloud Storage等GCP服务的经验提出了建议。

在我的组织中，我们正在寻找变更数据捕获（CDC），业务流程，调度和触发，以便设计和开发稳定的生产流程。之后，我们应该继续获取临时许可和工具。由于我们刚刚开始使用GCP进行大量订阅，因此我们强烈要求定义此类连接组件。

我们正在尝试使用Oracle GoldenGate，但是对于端到端的过程来说似乎非常有限。

那么您有什么建议？预先感谢您分享您的经验。

艾伦。

Answer 1

有多家公司负责将数据从各种数据库移至BigQuery：

• https://cloud.google.com/bigquery/partners/

其他人已经发布了其内部构建方法：

• WePay将其MySQL同步到BigQuery

  • https://wecode.wepay.com/posts/bigquery-wepay

• 如何将MongoDB同步到BigQuery

  • https://towardsdatascience.com/using-mongodb-change-streams-to-replicate-data-into-bigquery-64ab54636b0e