Question

我在Amazon EBS卷上有大约400 GB的数据，我需要在S3存储桶中使用这些数据来使用Hadoop EMR。

如何将数据从EBS卷移动/复制到S3存储桶（S3存储桶和EBS卷都位于同一AWS区域）？

由于

Answer 1

同时，AWS Command Line Interface是所有AWS的推荐选择：

AWS命令行界面（CLI）是用于管理AWS服务的统一工具。只需一个下载和配置工具，您就可以从命令行控制多个AWS服务，并通过脚本自动执行这些服务。

除了对所有AWS API的统一方法之外，它还添加了一组新的简单file commands，用于与Amazon S3进行有效的文件传输，其特性与井类似已知的Unix命令，例如对于手头的任务：

cp - 将本地文件或S3对象本地或在S3中复制到另一个位置。
sync - Syncs目录和S3前缀。
...

所以cp就足以满足您的使用需求，但请务必查看sync，这对于许多经常遇到的情况尤其有用（并且有点暗示cp取决于参数）。

Answer 2

首先通过IAM在AWS上获取您的凭据：

转到AWS / Services / IAM选择用户并创建管理员。之后，下载您的credentials.csv并在shell中运行：

aws configure

输入您的访问密钥ID和密钥访问密钥。

然后将文件和文件夹从EC2中的EBS复制到S3：

aws s3 sync /ebs-directory/ s3://your-bucket

Answer 3

创建具有AmazonEC2FullAccess和AdministratorAccess权限的IAM用户，然后下载访问密钥ID和秘密访问密钥。

User - ec2tos3-data-transfer 
Access key ID - AKIAWTUBRTSRTHMZI4
Secret access key - 8BDArkKhkt6k7fnt9n4552mFl+PGNyOKx8

///将数据从EBS复制到S3

sudo apt install awscli
aws configure
AWS Access Key ID [None]: AKIAWTUBRTSRTHMZI4
AWS Secret Access Key [None]: 8BDArkKhkt6k7fnt9n4552mFl+PGNyOKx8
Default region name [None]: us-east-2       // Ec2 instance region
Default output format [None]: json

将数据Ebs同步到S3

aws s3 sync uploads/ s3://bucketname

或公开阅读

aws s3 sync uploads/ s3://bucketname --acl public-read

将数据Ebs复制到S3

aws s3 cp uploads/ s3://bucketname

或公开阅读

aws s3 cp uploads/ s3://bucketname --acl public-read

如何将数据从EBS卷传输到S3存储桶？

3 个答案: