列出所有对BigQuery的查询及其处理的字节

时间:2016-11-19 21:14:43

标签: google-bigquery

我想知道BigQuery API中是否有方法或任何其他方式,我可以列出所有查询及其处理的字节。类似于活动页面中列出但具有processedBytes字段的内容:

https://console.cloud.google.com/home/activity?project=coherent-server-125913

我们遇到了结算问题。突然间,我们的BigQuery分析成本增加了很多,我们认为我们的收费比预期的多20倍(我们检查BigQuery API的所有响应并保存processedBytes字段,考虑到最低费用为10MB)。 / p>

我们解决这一差异的唯一方法是列出所有请求并与我们的数字进行比较,看看我们是否测量某些东西或者我们是否做错了什么。我们已经开通了一个结算支持票,他们已经将我重定向到Stackoverflow,因为他们认为这是一个技术问题。

提前致谢!

2 个答案:

答案 0 :(得分:1)

您应该尝试检查totalBytesBilled和billingTier(请参阅here),而不是检查totalBytesProcessed 您可能会跳到高结算等级 - 只是猜测

答案 1 :(得分:0)

检查的最佳位置是BigQuery日志。

这将告诉您运行了哪些查询,运行了哪些查询,运行了什么日期/时间,计费的总字节数等。

查看日志可能有点乏味,但是BigQuery允许您将BigQuery日志流式传输到BigQuery表中,然后可以查询该表以识别昂贵的查询。

我已经做到了,而且效果很好,可以让您了解您的BQ费用。此处更详细地概述了执行此操作的过程:https://www.reportsimple.com.au/post/google-bigquery