Question

是否可以选择计算bucket-folders中的文件数？

喜欢：

gsutil ls -count -recursive gs://bucket/folder

Result:   666 files

我只想要比较的文件总数相当于我服务器上的sync-folder。

我没有在手册中看到它。

Answer 1

带有选项-l（长列表）和-R（递归列表）的gsutil ls command将递归列出整个存储桶，然后生成所有对象的总计数，包括文件和目录，最后：

$ gsutil ls -lR gs://pub
    104413  2011-04-03T20:58:02Z  gs://pub/SomeOfTheTeam.jpg
       172  2012-06-18T21:51:01Z  gs://pub/cloud_storage_storage_schema_v0.json
      1379  2012-06-18T21:51:01Z  gs://pub/cloud_storage_usage_schema_v0.json
   1767691  2013-09-18T07:57:42Z  gs://pub/gsutil.tar.gz
   2445111  2013-09-18T07:57:44Z  gs://pub/gsutil.zip
      1136  2012-07-19T16:01:05Z  gs://pub/gsutil_2.0.ReleaseNotes.txt
... <snipped> ...

gs://pub/apt/pool/main/p/python-socksipy-branch/:
     10372  2013-06-10T22:52:58Z  gs://pub/apt/pool/main/p/python-socksipy-branch/python-socksipy-branch_1.01_all.deb

gs://pub/shakespeare/:
        84  2010-05-07T23:36:25Z  gs://pub/shakespeare/rose.txt
TOTAL: 144 objects, 102723169 bytes (97.96 MB)

如果您真的只想要总数，可以将输出传递给tail命令：

$ gsutil ls -lR gs://pub | tail -n 1
TOTAL: 144 objects, 102723169 bytes (97.96 MB)

<强>更新

gsutil现在有一个du command。这使得计算更容易：

$ gsutil du gs://pub | wc -l
232

Answer 2

您想要gsutil ls -count -recursive中的gs://bucket/folder？好的; gsutil ls gs://bucket/folder/**将仅列出gs://bucket/folder下文件路径的完整网址，而不会显示页脚或以冒号结尾的行。将wc -l输入管道将为您提供结果的行数。

gsutil ls gs://bucket/folder/** | wc -l

Answer 3

gsutil ls -lR gs://Floder1/Folder2/Folder3/** |tail -n 1

Answer 4

此 gist 展示了如何遍历所有 Cloud Storage 存储分区并列出每个存储分区中的对象数量。 @vinoaj

的赞美

for VARIABLE in $(gsutil ls)
do
  echo $(gsutil du $VARIABLE | grep -v /$ | wc -l) $VARIABLE
done

要过滤存储桶，请添加一个 grep，例如 for VARIABLE in $(gsutil ls | grep "^gs://bucketname")

在控制台中，您可以单击右上角的激活 Cloud Shell 并将其粘贴到其中以获取结果。如果您将命令保存为 bash 脚本，则运行 chmod u+x program_name 以便该脚本可以在 GCP Cloud Shell 中运行。

如何使用gsutil计算bucket-folder中的文件数

4 个答案: