我一直在本地计算机上使用wekaDistributedHadoop1.0.4和wekaDistributedBase1.0.2软件包来运行一些基本作业。有一个字段“HDFS主机”必须填写才能运行作业。我一直在使用“localhost”,因为我一直在我的本地机器上测试,这很好用。我在AWS EMR上运行时盲目地尝试使用“localhost”,但作业失败了。我想知道的是我应该进入该领域的主机名,以便weka将呼叫正确的主人?它是启动集群时提供的公共DNS名称,还是API中有一个方法可以为我获取该地址?
答案 0 :(得分:0)
如果您想手动执行此操作。
创建一个集群并使其保持活动状态,您可以在amazon ec2实例管理控制台中找到信息,在安全组中弹性mapreduce主/从。找出它,登录主节点并编辑conf文件并填写正确的名称。
如果您需要自动执行此操作。
编写一个在bootstrap中执行的shell。您可以参考https://serverfault.com/questions/279297/what-is-the-easiest-way-to-get-a-ec2-public-dns-inside-a-running-instance