我需要存储几百万行'进入一个数据库并读回所有这些进行bach处理(以json格式存储在磁盘上,每百万行数约为200mb'行')。
GCP数据存储是否适合此类工作?我有一种感觉,当表扫描时,它可能会很慢。参与(这是我最终会做的)。
BigQuery看起来有点矫枉过正。 CloudSQL是否会成为这类工作的最佳选择?
答案 0 :(得分:0)
BigQuery对于存储和查询而言也很便宜,也很快。例如,您可以在pricing documentation或post about how to query a terabyte for free each month中阅读更多内容。我不会说你的问题似乎有些过分,但我建议尝试使用几个不同的后端,看看哪个最适合你的需求。