使用级联SDK运行EMR失败

时间:2014-10-02 07:29:36

标签: amazon-web-services emr cascading

我正在按照本教程安装Cascading to EMR:

http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/CreateCascading.html

但由于安装了cascading-sdk的bootstrap操作,它失败了。相应的日志位于:http://pastebin.com/jybHssTQ。从日志中可以看出,由于找不到apt-get,它失败了。严重?

我还检查了sdk安装脚本,并找到了禁用使用--no-screen安装screen的选项。它仍然失败,有不同的错误http://pastebin.com/T6CvA2H1 现在是因为许可被拒绝了。什么?

这是官方指南,但我似乎无法运行它。有什么想法吗?

1 个答案:

答案 0 :(得分:0)

不要先更改脚本,而是尝试使用其他EMR AMI版本。

直到2.4.8的AMI版本使用Debian OS,其中apt-get可以使用,但是这会运行Hadoop 1.x. AMI版本3.0.x运行Hadoop 2.2并使用Amazon Linux,后者使用Yum。

见下文: http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/ami-versions-supported.html

另外,尝试添加" - tmpdir"绕过" Permission Denied"的选项错误。