Google CloudSQL或BigQuery for Big Data每秒都在积极更新

Question

所以现在我正在使用Google CloudSQL来满足我的需求。

我从用户活动中收集数据。每天，我的表中的行数将增加大约9-15百万行，并且每秒都会更新。数据包括几个主要参数，如用户位置（纬度经度），时间戳，用户活动和对话等。

我需要经常从这些用户活动中获得很多洞察力，例如＆＃34;从30天前开始每小时使用我的应用程序的纬度 - 经度A和经度 - 经度B之间的用户数量是多少？＆＃34;

因为我的桌子每天都变大，所以在我的桌子中管理选择查询的性能很困难。 （我已经在我的表中实现了索引方法，尤其是对于最常用的参数）

我所有的数据插入，选择，更新等都是从我用PHP编写的API执行的。

所以我的问题是，如果我根据自己的需要使用Google BigQuery，我可以获得更多好处吗？

如果是，我该怎么做？因为谷歌BigQuery（原谅我，如果我错了）设计用于静态数据？ （不是不​​断更新的数据）？如何实时将我的CloudSQL数据连接到BigQuery？

哪一个更好：在CloudSQL中优化我的表以最大化选择过程或使用BigQuery（如果可能）

我还打开另一个替代或建议来优化我的CloudSQL性能：）

谢谢

Answer 1

听起来像BigQuery会更适合您的用例。我能想出一个好的解决方案：

1. 将现有数据从CloudSQL迁移到BigQuery。
2. 直接将事件流式传输到BigQuery（使用异步队列）。
3. 在BigQuery中使用时间分区表。

如果您使用BigQuery，则无需担心性能或扩展。这些都由Google处理。