EMO上的Oozie样本

时间:2017-06-14 13:17:30

标签: oozie emr

有人可以解释一下在处理EMR(EMRFS)时oozie操作的名称节点和作业跟踪器是什么。我明白name节点是特定于hdfs的,但如果我使用的是EMRFS,那么它应该是oozie中的值。

1 个答案:

答案 0 :(得分:1)

name-node应该是运行HDFS namenode守护程序的EMR主机的namenode FQDN:port或IP:端口。 job-tracker是YARN资源管理器地址。它们在有或没有EMRFS的情况下保持不变,因为OOZIE仍然使用HDFS(而不是S3)。根据Action,YARN容器(映射器/缩减器)可能使用EMRFS,您不需要为它设置任何内容。

您可以看到此端口列表以查找EMR所需的端口: http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-4.2.0/emr-release-differences.html#w2ab1c66c15

您还可以在core-site.xml / yarn-site.xml / mapred-site.xml文件的fs.default.namemapred.job.tracker设置中找到它们。