获取Google Storage存储桶大小的最快方法是什么？

Question

我目前正在这样做，但由于我在数据库中有数TB的数据，因此非常慢：

gsutil du -sh gs://my-bucket-1/

对于子文件夹也一样：

gsutil du -sh gs://my-bucket-1/folder

是否有可能以某种方式获得其他地方或其他某种方式的完整存储桶（或子文件夹）的总大小？

Answer 1

不幸的是，没有。如果你现在需要知道水桶的大小，那就没有比你正在做的更快的方式了。

如果您需要定期检查，可以启用存储桶记录。 Google云端存储将生成每日存储日志，您可以使用该日志来检查存储区的大小。如果这有用，您可以在此处阅读更多相关信息：https://cloud.google.com/storage/docs/accesslogs#delivery

Answer 2

如果您从启用存储桶日志记录（根据Brandon的建议）获得的每日存储日志对您不起作用，那么您可以采取的一件事就是加速du请求。例如，您可以执行以下操作：

gsutil du -s gs://my-bucket-1/a* > a.size &
gsutil du -s gs://my-bucket-1/b* > b.size &
...
gsutil du -s gs://my-bucket-1/z* > z.size &
wait
awk '{sum+=$1} END {print sum}' *.size

（假设您的子文件夹以英文字母开头命名;如果没有，您需要调整运行上述命令的方式。）

Answer 3

这里的Google存储可见度很差

最快的方法实际上是提取堆栈驱动程序指标并查看总大小（以字节为单位）：

不幸的是，在堆栈驱动程序中几乎没有可以进行的过滤。您不能对存储桶名称进行通配符设置，并且几乎无用的存储桶资源标签在堆栈驱动程序指标中不可聚合

这也是存储桶级别的-不是前缀

Answer 4

我发现使用CLI经常会超时。但这就像我正在审查冷线存储一样。

用于GUI解决方案。查看Cloudberry Explorer

GUI view of storage