我正在将大量数据（link to data）下载到AWS Ubuntu服务器，希望最终将数据传输到已安装的S3存储桶。问题是，如果我要将所有数据（例如> 1TB的数据）下载到具有200GB磁盘的AWS Ubuntu服务器，它将超过磁盘的限制。因此，在给定这些约束的情况下，如何有效地将数据传输到S3存储桶？
我考虑过将单个文件下载到磁盘，同步到S3并删除文件，尽管这种方法看起来非常低效。
答案 0 :(得分：2)
根据评论，似乎最好的办法是使用awscli将本地计算机直接上传到s3。
以下是基本步骤：
pip install awscli（或use other installation methods）aws configure aws s3 cp /my/local/file.txt s3://bucket/key.txt 还有许多其他可用的方法 - 但是AWS的官方命令行工具得到了很好的支持，并且是那些有shell知识的人的好地方。
答案 1 :(得分：2)
由于您拥有庞大的数据文件，我建议您使用S3FS，这是一个将S3磁盘安装到您的实例中的工具，因此您可以访问所有文件，因为它是一个普通的文件系统（理论上是这样）。这是一个链接，以便您可以获得更多信息
更新1： 请记住，传输速度非常慢（根据我的测试，速度为10 MB / s），但我希望它能满足您的需求
http://tecadmin.net/mount-s3-bucket-centosrhel-ubuntu-using-s3fs/