如何有效获取匹配的Amazon S3文件列表？

Question

在平坦的Amazon S3存储桶中假设200,000张图像。

这个桶看起来像这样：

000000-1.jpg
000000-2.jpg
000000-3.jpg
000000-4.jpg
000001-1.jpg
000001-2.jpg
000002-1.jpg
...
ZZZZZZ-9.jpg
ZZZZZZ-10.jpg

（一个6位哈希后跟一个计数，然后是扩展名）

如果我需要所有匹配000001-*.jpg的文件，最有效的方法是什么？

在PHP中我会使用rglob($path,'{000001-*.jpg}',GLOB_BRACE)来获取一系列匹配项，但我认为这不会起作用。

我可以获取存储桶中所有文件的列表，然后在数组中查找匹配项，但这似乎是一项昂贵的请求。

你推荐什么？

Answer 1

Amazon提供了一种使用S3 api直接执行此操作的方法。

在调用列出S3对象时，可以使用prefix选项仅返回以前缀开头的对象。例如，使用AWS SDK for PHP：

// Instantiate the class
$s3 = new AmazonS3();

$response = $s3->list_objects('my-bucket', array(
    'prefix' => '000001-'
));

// Success?
var_dump($response->isOK());
var_dump(count($response->body->Contents))

您可能还会发现delimiter选项很有用 - 您可以使用它来获取所有唯一的6位数哈希值的列表。