如何从Sagemaker中读取AWS S3图像进行处理

Question

我的S3存储桶中大约有10000张图像。我有一个代码可以将这些图像分别剪切为12个较小的图像，并将它们保存在另一个文件夹中。我想将它们保存在S3存储桶中。是否可以做到这一点，并且效率很高？

Answer 1

您可以使用以下命令将图像带到SageMaker实例的本地存储库中（例如/ home / ec2-user / SageMaker / Pics /）：

aws s3 sync s3://pic_folder_in_s3 /home/ec2-user/SageMaker/Pics

或在python中

import subprocess as sb

sb.call('aws s3 sync s3://pic_folder_in_s3 /home/ec2-user/SageMaker/Pics'.split())

请注意，为了进行转移，您的SageMaker实例所承担的角色必须有权从此S3位置读取