有什么方法可以将URL列表中的50000张图像文件上传到Amazon S3存储桶

Question

有什么方法可以将50000张图像文件上传到Amazon S3 Bucket。 50000个图像文件URL保存在.txt文件中。有人可以告诉我一种更好的方法吗？

Answer 1

听起来您的要求是：对于文本文件中列出的每个图像URL，请将图像复制到Amazon S3存储桶。

Amazon S3没有没有内置功能。相反，您需要编写一个应用程序：

• 读取文本文件，并针对每个URL
• 下载图像
• 将图像上传到Amazon S3

由于在S3和EC2之间的等待时间短，因此在 Amazon EC2实例上执行此操作最快”。

您也可以通过 Amazon EMR 来实现它。由于并行处理，这将是最快的，但需要了解如何使用Hadoop。

如果您有图像的本地副本，则可以订购AWS Snowball并将其用于将文件传输到Amazon S3。但是，仅通过Internet复制文件可能会更快（粗略估计……每个文件1MB，总容量为50GB）。