自动将数据从Oracle DB加载到Google BigQuery

时间:2018-03-08 20:26:27

标签: oracle google-bigquery

美好的一天,

我有一个Oracle数据库,我需要加载一些表,以便我可以在BigQuery中查询它们。

¿有没有办法每24小时自动将数据加载到Google BigQuery?

任何方式都可行。它可以加载到数据存储并从那里创建表,或从服务器加载到谷歌驱动器。

我真的需要一些想法,我读过很多没有运气的文章。

1 个答案:

答案 0 :(得分:3)

按进度检查本教程:

  

在本教程中,主要目标是连接到本地Oracle数据库,读取数据,应用简单转换并将其写入BigQuery。该项目的代码已上传到GitHub供您参考。

此解决方案使用Dataflow和Progress'混合数据管道工具:

  

Google Cloud Dataflow是批量和实时数据流的数据处理服务。 Dataflow允许您构建管道以提取数据,然后根据您的需要进行转换和处理,然后再将这些数据提供给分析工具。 DataDirect混合数据管道可用于通过Google Cloud Dataflow提取内部部署和云数据。