我迷失了GCP提供的大量文档。 GCP似乎发展迅速,每年都会发布许多功能。我阅读了有关Google Cloud Dataflow,Google Cloud Scheduler,Google Cloud Composer的文档。
我目前正在考虑最好的方法。
上下文:
我的生产数据库位于Google Cloud MySQL。我想规范我的数据。
IE: 我有2张桌子:交易和用户。用户进行多次交易。 正如您在第三个数组中看到的那样,我想先将表联接起来以获取平面数据,然后再将其导入BigQuery。
https://i.stack.imgur.com/aT86u.png
我想在我可以计算的新表中添加一个新列:用户上次交易(MAX(t_created_at))。
最后,我想定期在BigQuery中导入该新表。
处理此问题的最佳方法是什么?我需要在Google Cloud Scheduler中使用Google Cloud Dataflow和cron作业吗?我没有管理技能,我只是开发人员。
很抱歉,如果我的请求不适用于Stackoverflow。
谢谢