如何从URL下载文件并将其存储在AWS S3存储桶中?

时间:2019-07-16 23:16:33

标签: rest api url amazon-s3 storage

如前所述,我正在尝试下载包含图像的https://data.broadinstitute.org/bbbc/BBBC006/的zip文件夹数据集,并将其存储在s3存储桶中,以便以后将其解压缩到存储桶中,重新组织它们,并将它们拉小块进入虚拟机进行一些计算。问题是,例如,我不知道如何从https://data.broadinstitute.org/bbbc/BBBC006/BBBC006_v1_images_z_00.zip或其他任何数据中获取数据,然后将其发送给s3 这是我第一次使用aws或几乎任何云平台,因此请耐心:]

1 个答案:

答案 0 :(得分:0)

Amazon EC2提供的虚拟计算机就像普通的Linux或Windows计算机一样。

Amazon S3是一项块存储服务,您可以在其中上传/下载文件。

如果您希望将文件从网站复制到Amazon S3,则需要编写一个应用程序或脚本来完成以下操作:

  • 从网站下载文件
  • 上传它们到Amazon S3

如果您希望通过脚本执行此操作,则可以使用AWS Command-Line Interface (CLI)

或者,您可以通过编程语言来实现,请参见:SDKs and Programming Toolkits for AWS

相关问题