我正在研究将Hadoop数据复制到S3。并探索了不同的选项。我知道我们可以使用EXPORT命令将文件复制到另一个群集。我们是否可以使用Export命令以相同的方式将数据和元数据复制到AWS S3？
答案 0 :(得分：0)
STEP1 ：创建一个S3存储桶
STEP2 ：使用distcp实用程序将数据从hadoop平台复制到在STEP1中创建的S3存储桶。
hadoop distcp hdfs://hdfs_host:hdfs_port/hdfs_path/hdfs_file.txt s3n://s3_aws_access_key_id:s3_aws_access_key_secret@my_bucketname/