在我的笔记本电脑上使用虚拟机设置多节点Hadoop集群

时间:2014-05-09 12:41:53

标签: hadoop vmware

我有一台Windows 7笔记本电脑和我需要在其上设置hadoop(mutlinode)群集

我准备好了以下内容 -

  • 虚拟软件,即virtualbox和vmware播放器。

  • 两个虚拟机,即

    Ubuntu - 适用于Hadoop master和

    Ubuntu - for(1X)Hadoop slave

    是否有人使用虚拟机启动了此类群集的设置 你的笔记本电脑?

如果是,请帮我安装。

我搜索了谷歌,但我没有得到如何使用虚拟机在hadoop上配置这个多节点集群?

如何使用VMware或virtualbox在Windows 7上运行两个Ubuntu操作系统?

我们是否应该使用相同的Ubuntu版本VM映像或 vm图像与不同版本的Ubuntu Linux?

3 个答案:

答案 0 :(得分:3)

是的,你可以使用ubuntu两个节点。我使用五个节点(1个主节点,4个数据节点)。 如果要在vm ware中安装多节点。 只需从以下链接下载ubutnu:http://www.ubuntu.com/download/desktop 并安装两台机器。并安装java和openssh。 并从此链接下载多节点的shell脚本:: https://github.com/tonyreddy/Apache-MultiNode-Insatallation-Shellscript

试试吧...... 一切顺利............

答案 1 :(得分:1)

由于您在笔记本电脑上运行Hadoop,显然您是出于学习目的或构建POC或功能调试而做的。

您可以简单地安装预先配置的伪分布式虚拟机,而不是经历安装和设置Hadoop及相关大数据软件的麻烦。

一些不错的选择是:

我已经在我的笔记本电脑上使用Cloudera的VM已经有一段时间了,而且它一直很好用。

答案 2 :(得分:0)

Cloudera和Hortonworks是启动和运行的最快方式。

确保您的笔记本电脑上已安装足够的RAM用于已运行的操作系统,否则您的笔记本电脑将在您使用虚拟机时突然重启。

  

让我举个例子 -

如果您使用 Windows 10 ,则需要 3-5GB RAM 才能顺利运行, 这意味着如果您在RAM中加载 5GB 大小的虚拟机, Windows / em>操作。

您必须将RAM从8GB升级到12GB或最佳16GB ,以便笔记本电脑顺利运行。

希望有所帮助