将脚本从s3传输到emr master

时间:2014-11-30 03:07:29

标签: hadoop amazon-ec2 amazon-s3

我设法将数据文件分发到emr集群上,但是无法将简单的python脚本复制到主实例来运行hadoop作业。

使用aws cli(aws s3 cp s3://the_bucket/the_script.py .)返回

A client error (Forbidden) occurred when calling the HeadObject operation: Forbidden

我尝试从控制台启动emr集群,检查IAM角色部分中的default

我已设置两个IAM角色EMR_DefaultRoleEMR_EC2_DefaultRole,确保他们拥有所有s3访问权限,

我已确保为aws configureec2-user运行hadoop(确认正确的信用证位于~/.aws/config)。

仍然出现上述错误。如果hadoop用户可以distcp来自保存我的python脚本的同一s3存储桶中的数据,则hadoop用户不能使用{{1}复制这些脚本}}?访问同一个存储桶的用户(aws s3)不一样吗?谢谢你的任何指示。

0 个答案:

没有答案