用于实时通话记录数据的Google BigQuery

Question

我正在考虑使用Google Big Query来存储每天插入大约300万行的实时通话记录，但从未更新。

我已注册试用帐户并进行了一些测试

在我开始进行开发之前，我没有什么顾虑

1. 当通过PHP流式传输数据时，有时需要大约10-20分钟才能加载到我的桌​​面上，这对我们来说是一个显示阻碍因为网络支持工程师需要实时更新这些数据来解决质量问题

2. 分区，我们可以将数据存储在每天划分的分区中，但是在任何给定的日期也会涉及一个2.5 GB的分区，这会花费我每天数千个查询数据的成本。还有其他方法可以降低成本吗？我们可以存储每小时分区的数据，但没有这样的支持。

如果不是BigQuery市场上有哪些其他解决方案可以提供类似的性能并且可以解决这些问题？

Answer 1

你有＆＃34; Streaming insert＆＃34;选项，使记录可以在几秒钟内搜索（它有价格） 请参阅：streaming-data-into-bigquery

检查table-decorators以限制查询扫描。