Amazon EMR - Yum更新Boostrap操作在Slave

时间:2017-05-15 15:53:25

标签: hadoop emr amazon-emr

要重写这个问题,因为我已经获得了大量更新信息。

我的问题如下:

我有一个带有1个主节点和1个从节点的EMR集群。 Slave节点配置为可以自由访问开放的互联网(我知道这是一个安全风险)。

当我使用仅仅调用sudo yum -y update的引导操作设置此集群时,它会失败,说从属节点上的引导操作失败(它总是在主节点上成功)

但是,如果SSH进入Slave节点并手动尝试执行sudo yum -y update,则操作在5.5.0 EMR包上成功。

我无法进一步调试为什么会发生这种情况,因为尽管我已经正确配置了它,但是EMR不会将任何日志复制到S3(日志复制最多是零星的)并且CloudWatch不会获取任何日志来自VPC,这使调试这个问题相当模糊。

任何信息都将受到赞赏。

编辑:我能够使我的CloudWatch VPC日志正常工作(显然我的IAM没有上传日志的信任关系),它显示了很多REJECT,而主节点似乎没有显示任何拒绝。这让我觉得有一些自动配置正在进行并妨碍我正确下载yum包?

1 个答案:

答案 0 :(得分:0)

在传统上提出晦涩难懂的问题并设法自行解决问题,让我分享一下我的缓解。

事实证明这是EMR-5.5.0发布标签中的一个问题。降级到EMR-5.3.0修复了我的脚本问题,现在脚本按预期正常执行。

似乎可能在5.5.0中更改了脚本执行的时间/方式。