阅读所有实体

时间:2017-03-10 14:37:30

标签: database google-bigquery google-cloud-storage google-cloud-datastore

我需要存储几百万行'进入一个数据库并读回所有这些进行bach处理(以json格式存储在磁盘上,每百万行数约为200mb'行')。

GCP数据存储是否适合此类工作?我有一种感觉,当表扫描时,它可能会很慢。参与(这是我最终会做的)。

BigQuery看起来有点矫枉过正。 CloudSQL是否会成为这类工作的最佳选择?

1 个答案:

答案 0 :(得分:0)

BigQuery对于存储和查询而言也很便宜,也很快。例如,您可以在pricing documentationpost about how to query a terabyte for free each month中阅读更多内容。我不会说你的问题似乎有些过分,但我建议尝试使用几个不同的后端,看看哪个最适合你的需求。