在笔记本电脑上安装hadoop的硬件要求

时间:2014-06-17 11:20:26

标签: hadoop mapreduce hardware

我计划在Hadoop,MapReduce和其他大数据方面获得一些经验。最初我想在笔记本电脑上安装它。我想知道在Windows上安装Hadoop的最佳笔记本电脑硬件是什么。我假设我必须安装单节点安装,如果没有,请指导我正确的配置。 问候 纳迪姆

4 个答案:

答案 0 :(得分:6)

我知道你提到要在Windows上安装,但Cloudera正在提供单节点Hadoop Linux VM映像,可以立即启动并运行。您甚至包含示例和脚本,这是一个非常好的起点。

https://www.cloudera.com/downloads.html

(别忘了查看Getting Started部分。)

在我看来,如果你想了解大数据和Hadoop,你也应该花一些时间熟悉Linux,因为大多数真实的环境都是基于Linux的。

系统要求:每个Cloudera页面,VM需要4GB RAM和3GB磁盘空间。这意味着你的笔记本电脑应该有更多(我建议8GB +)。存储方面,只要您有足够的数据集(10英寸GB)进行测试,您就可以了。至于CPU,如果您的机器具有该RAM量,您很可能会很好。我使用单节点蹩脚的Pentium G3210和4GB内存来测试我的小工作,它运行得很好。

稍后如果你超出这个环境,你可以简单地转移到你自己的伪分布式设置。

当然,如果我刚才所说的话对你没有意义,那么你就会有一些阅读......

答案 1 :(得分:2)

如果你想练习简单的程序(不是数据密集型),那么4GB RAM应该是好的。 如果要安装单节点,最佳配置是32GB RAM,至少4核。

有关如何安装单个节点的更多信息,请参阅myhobbyandexperiments.wordpress.com

答案 2 :(得分:1)

您不太可能准备好拥有仅限Linux的笔记本电脑。因此,您需要一个支持64位虚拟化的64位CPU - 当然还有64位操作系统。请注意,您在BIOS级别上通常禁用虚拟化支持,您需要查找并启用它。

除此之外,还有足够的RAM - 至少8GB,但最好是16GB。我也喜欢为不同的操作系统配备不同的硬盘,因此可以用高清球童替换DVD的笔记本电脑和第二个SSC硬盘驱动器(比如128GB)都不错。

答案 3 :(得分:-3)

具有4 GB RAM的Windows 64位操作系统应该可以。 我发布了一个博客。在这篇博客中,我记录了支持截图的详细步骤,以便使用Windows 64位PC或笔记本电脑在伪分布式模式下安装和设置Hadoop集群

这是一个3步骤的过程

第1步 - 安装VM Player

第2步 - 设置Lubuntu虚拟机

第3步 - 安装Hadoop

http://hadooppseudomode.blogspot.in/