我想运行一个多节点hadoop集群,其中每个节点位于不同主机上的docker容器中。这个图像 - https://github.com/sequenceiq/hadoop-docker适用于以伪分布式模式启动hadoop,修改它的最简单方法是将每个节点放在另一个ec2主机上的不同容器中吗?
答案 0 :(得分:5)
我使用两个容器在两个不同的ubuntu主机上运行主节点和从属节点。我使用编织在容器之间建立了网络。我在docker hub account div4上添加了容器的图像。我以相同的方式安装了hadoop,因为它安装在不同的主机上。我在这里添加了带有coomands的两个图像来运行haddop:
https://registry.hub.docker.com/u/div4/hadoop_master/ https://registry.hub.docker.com/u/div4/hadoop_slave/
答案 1 :(得分:3)
来自sequenceiq的人们创建了一个名为cloud-break的新项目,该项目旨在与不同的云提供商合作,并轻松地在其上创建hadoop集群。您只需输入您的凭据,然后就我所见,它对所有提供商的工作方式都相同。
因此,对于ec2,这可能是最简单的解决方案(特别是因为一个很好的GUI):