我有一个指向文件（.tif）的网址，并希望将文件上传到Amazon S3。我目前使用wget将文件下载到EC2实例，然后在linux命令行中使用aws s3 cp上传到S3存储桶。我想知道你是否可以直接管道（不确定正确的命名法）文件到S3而不先保存到EC2实例。
答案 0 :(得分：2)
假设：
<url>是您要阅读的网址<s3_bucket>是您要将文件加载到<s3_key>是存储桶中的密钥（如文件名） wget -qO- <url> | aws s3 cp - s3://<s3_bucket>/<s3_key>
第一部分抓取文件并输出到标准输出。第二部分从标准输出读取并将其复制到命名的S3位置。
答案 1 :(得分：1)
将 S3 存储桶安装为驱动器，然后直接将其 wget 放入其中
我使用了这个教程，它对我来说效果很好，因为我有一个巨大的数据集 (5TB)，我需要直接下载