我设法将数据文件分发到emr集群上,但是无法将简单的python脚本复制到主实例来运行hadoop作业。
使用aws cli(aws s3 cp s3://the_bucket/the_script.py .
)返回
A client error (Forbidden) occurred when calling the HeadObject operation: Forbidden
。
我尝试从控制台启动emr集群,检查IAM角色部分中的default
,
我已设置两个IAM角色EMR_DefaultRole
,EMR_EC2_DefaultRole
,确保他们拥有所有s3
访问权限,
我已确保为aws configure
和ec2-user
运行hadoop
(确认正确的信用证位于~/.aws/config
)。
仍然出现上述错误。如果hadoop
用户可以distcp
来自保存我的python脚本的同一s3
存储桶中的数据,则hadoop
用户不能使用{{1}复制这些脚本}}?访问同一个存储桶的用户(aws s3
)不一样吗?谢谢你的任何指示。