S3作为Sqoop Import中的目标目录

Question

尝试使用sqoop import命令导入数据库表，并将目标目录指定为Amazon S3存储桶名称。 命令如下

sqoop import --connect jdbc:mysql://hostname/mytable --username myuser --password mypassword --table mytable --target-dir s3://<secret_code>:<secret_key>@s3-us-west-2.amazonaws.com/mybucket/

它一直给我拒绝访问S3Exception。密钥/代码凭证有效，并为每个人设置存储桶权限。

感谢您的帮助。

Answer 1

您是否尝试过以下链接？根据博客，它应该是s3a。

https://www.cloudera.com/documentation/enterprise/latest/topics/admin_sqoop_s3_import.html

sqoop -Dfs.s3a.access.key=xxxxx -Dfs.s3a.secret.key=xxxxx -Dfs.s3a.endpoint="s3.amazonaws.com" \
import --connect jdbc:mysql://hostname/mytable --username myuser --password mypassword --table mytable \
--target-dir s3a://mybucket/