在AMAZON EMR上运行纱线应用程序

时间:2017-03-04 05:39:53

标签: hadoop amazon-ec2 amazon-emr

我希望在AMAZON EMR上运行雅虎的项目风暴。在EMR上,主管本地目录无法创建。我想可能连接问题或没有许可。 你能给我一些建议吗?谢谢你的帮助。

  

2017-03-01 11:38:02主管[错误]初始化错误   server mk-supervisor java.io.IOException:无法创建目录   /mnt/yarn,/mnt1/yarn/usercache/yarn/appcache/application_1488367739843_0002/container_1488367739843_0002_01_000006/storm/storm-1.0.1/storm-local/supervisor at at   org.apache.storm.shade.org.apache.commons.io.FileUtils.forceMkdir(FileUtils.java:2384)   〜[storm-core-1.0.1.jar:1.0.1] at   org.apache.storm.config $ supervisor_local_dir.invoke(config.clj:172)   〜[storm-core-1.0.1.jar:1.0.1] at   org.apache.storm.config $ supervisor_isupervisor_dir.invoke(config.clj:177)   〜[storm-core-1.0.1.jar:1.0.1] at   org.apache.storm.daemon.supervisor $ fn__9230 $ exec_fn__2461__auto ____ 9231.invoke(supervisor.clj:781)   〜[storm-core-1.0.1.jar:1.0.1] at   clojure.lang.AFn.applyToHelper(AFn.java:160)〜[clojure-1.7.0.jar:?]     在clojure.lang.AFn.applyTo(AFn.java:144)〜[clojure-1.7.0.jar:?] at   clojure.core $ apply.invoke(core.clj:630)〜[clojure-1.7.0.jar:?] at   org.apache.storm.daemon.supervisor $ fn__9230 $ mk_supervisor__9275.doInvoke(supervisor.clj:779)   [storm-core-1.0.1.jar:1.0.1] at   clojure.lang.RestFn.invoke(RestFn.java:436)[clojure-1.7.0.jar:?] at   org.apache.storm.daemon.supervisor $ _launch.invoke(supervisor.clj:1216)   [storm-core-1.0.1.jar:1.0.1] at   org.apache.storm.daemon.supervisor $ _main.invoke(supervisor.clj:1249)   [storm-core-1.0.1.jar:1.0.1] at   clojure.lang.AFn.applyToHelper(AFn.java:152)[clojure-1.7.0.jar:?] at   clojure.lang.AFn.applyTo(AFn.java:144)[clojure-1.7.0.jar:?] at   org.apache.storm.daemon.supervisor.main(未知来源)   [风暴芯1.0.1.jar:1.0.1]

1 个答案:

答案 0 :(得分:-1)

  1. 无密码SSH已经是默认设置,您必须使用密码专门启用SSH登录(这样做不是一个好主意,因为它不如使用密钥对安全,我认为这是你的表示“没有密码的ssh登录”)。
  2. 创建EMR群集时,您可以选择指定要使用的SSH密钥的名称(在已经上传公钥或使用AWS控制台/ CLI为您创建密钥对之后),然后您可以使用私钥(通常是.pem文件)通过SSH连接到EMR集群的主实例。

    有关详细信息,请参阅以下页面: http://docs.aws.amazon.com/emr/latest/ManagementGuide/emr-connect-master-node-ssh.html http://docs.aws.amazon.com/AWSEC2/latest/UserGuide/ec2-key-pairs.html

    1. 很难说出问题是什么,因为您没有提供太多信息,但听起来您可能已将SSH作为'ec2-user'连接到群集。使用EMR时,您应该以“hadoop”用户身份SSH到群集。如果这不能解决您的问题,请更新问题以了解您正在做什么的更多详细信息。