有人可以解释一下在处理EMR(EMRFS)时oozie操作的名称节点和作业跟踪器是什么。我明白name节点是特定于hdfs的,但如果我使用的是EMRFS,那么它应该是oozie中的值。
答案 0 :(得分:1)
name-node
应该是运行HDFS namenode守护程序的EMR主机的namenode FQDN:port或IP:端口。 job-tracker
是YARN资源管理器地址。它们在有或没有EMRFS的情况下保持不变,因为OOZIE仍然使用HDFS(而不是S3)。根据Action,YARN容器(映射器/缩减器)可能使用EMRFS,您不需要为它设置任何内容。
您可以看到此端口列表以查找EMR所需的端口: http://docs.aws.amazon.com/emr/latest/ReleaseGuide/emr-4.2.0/emr-release-differences.html#w2ab1c66c15
您还可以在core-site.xml / yarn-site.xml / mapred-site.xml文件的fs.default.name
,mapred.job.tracker
设置中找到它们。