Google云端存储/大查询成本估算

时间:2017-06-14 09:33:15

标签: python google-bigquery google-cloud-platform google-cloud-storage

我试图估算Google Cloud计划的每月总费用。

我的程序所做的是将输入文件从Amazon S3服务器加载到Google的云存储平台。然后,它使用此导入的数据在Google BigQuery中创建表格,然后将创建的表格以JSON格式导出回云存储。

假设我有一个50 GB大小的文件,它位于Amazon S3中。

我的程序会将这个50 GB的数据文件导入云存储,将其加载到BigQuery的表中,最后将其导出回云存储。

我估计50 GB的文件包含600,000,000(600M)行。

在云存储的Google Price Calculator中:

我已经存储了“存储数据”。字段为100 GB(50 GB输入文件,50 GB导出文件)。

我已经设置了实体读取'字段(假设每个实体是我表中的一行)到600,000,000(必须执行读取操作才能将数据加载到BigQuery中)

最后,我已经设置了实体写入'字段为1,200,000,000(从S3导入数据到云存储时进行一次写入操作,从BigQuery导出数据时进行另一次写入操作)

这给了我每月2,530.52美元的成本估算,对于50 GB的数据文件,我发现这个估算非常高。

我想知道的是我的估算值是否合适?

除了云存储成本之外,我还会为我的计划带来哪些其他费用? (因为我也使用Google Cloud Transfer服务)

1 个答案:

答案 0 :(得分:3)

不确定您填写了哪个页面,但BigQuery页面上没有Entity Reads这样的字段。

以下是:

的计算方法
Storage 100 GB
Streaming Inserts 0 MB
Queries 10 TB
Total Estimated Cost: $47.00 per 1 month 

https://cloud.google.com/products/calculator/#id=b395df1a-1fa8-4e7d-9dce-8a1a578916a8

请注意,从/到文件的加载/导出是免费的,您只需要支付文件的存储空间。