如何在BigQuery中将标准化数据表转换为非标准化数据结构

时间:2019-05-30 12:12:22

标签: google-bigquery etl google-cloud-dataflow

我设法使用了也称为Stich的ETL成功地(使用基于日志的复制方法)将AWS RDS Postgresql中的数据表迁移到BigQuery。我想将这些关系数据表转换为BigQuery数据结构,以利用嵌套和重复的字段。

理想情况下,这应该在迁移时完成(将表与JSON模式一起隐藏到JSON;将这些文件加载​​到存储桶中,然后将它们随后加载到BigQuery),但是不幸的是Stich没有这种机制。我看到您可以使用云DataFlow编写整个ETL脚本,但是此过程似乎太技术化(使用Java PCollection对象)。 https://cloud.google.com/solutions/performing-etl-from-relational-database-into-bigquery

我需要以下建议:

  1. 关于如何将已经注入的关系数据转换为BigQuery特定数据结构(主要是结构和重复数组)的建议(带有一些参考资料)。我可以在BigQuery中运行计划的查询。

  2. 建议(带有一些参考资料)运行一个更强大的过程,该过程比使用Cloud DataFlow进行上述过程的技术要少。

0 个答案:

没有答案