hadoop集群用于测试的最低要求是什么

Question

我是Hadoop的新手。我正在尝试构建hadoop集群来测试hadoop的性能。我想知道每个节点（主服务器和从服务器）的最小集群大小，内存，磁盘空间，核心数量是什么，我想知道什么是测试文件的大小。我正在尝试处理文本文件

Answer 1

对于HortonWorks

• 在32位和64位操作系统上运行（Windows 7，Windows 8和Mac OSX以及LINUX）
• 您的计算机应至少具有10 GB才能运行分配8 GB的VM
• 仅在BIOS上启用虚拟化如果您在VM上运行它
• 浏览器：建议使用Chrome 25 +，IE 9 +，Safari 6 +，Firefox 18+。 （Sandbox不会在IE 10上运行）

只需转到他们的下载页面http://hortonworks.com/hdp/downloads/

看看Cloudera的要求，你会得到这个

• RAM - 4 GB
• 必须禁用IPv6。
• iptables或防火墙没有阻止;端口7180必须打开，因为它在安装后用于访问Cloudera Manager。 Cloudera Manager使用必须打开的特定端口进行通信。
• ext3：这是HDFS最经过测试的底层文件系统。
• CPU - 越多越好
• JDK 1.7至少

有关详细信息，请查看以下链接

http://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_cm_requirements.html#cmig_topic_4_1_unique_1