我可以定期通过哪种方式将Google Cloud MySQL数据导入BigQuery

时间:2019-02-28 16:39:34

标签: google-cloud-platform google-bigquery google-cloud-storage google-cloud-dataflow

我迷失了GCP提供的大量文档。 GCP似乎发展迅速,每年都会发布许多功能。我阅读了有关Google Cloud Dataflow,Google Cloud Scheduler,Google Cloud Composer的文档。

我目前正在考虑最好的方法。

上下文:

我的生产数据库位于Google Cloud MySQL。我想规范我的数据。

IE: 我有2张桌子:交易和用户。用户进行多次交易。 正如您在第三个数组中看到的那样,我想先将表联接起来以获取平面数据,然后再将其导入BigQuery。

https://i.stack.imgur.com/aT86u.png

我想在我可以计算的新表中添加一个新列:用户上次交易(MAX(t_created_at))。

最后,我想定期在BigQuery中导入该新表。

处理此问题的最佳方法是什么?我需要在Google Cloud Scheduler中使用Google Cloud Dataflow和cron作业吗?我没有管理技能,我只是开发人员。

很抱歉,如果我的请求不适用于Stackoverflow。

谢谢

0 个答案:

没有答案