在家中设置Hadoop集群（2PC）

Question

您好我想知道是否有人建议我设置我的群集。它主要用于自己的学习目的。我正在抓新闻文章，并想尝试一些机器学习集群等的东西。我的数据大约1-10 GB。

我可以随时使用

1. Macbook pro with和SSD / 8GB Memory / i5（2核） Macbook pro和SSD / 8GB Memory / i5（2核）
2. 配备ubuntu 1.5 TB硬盘空间/ 8GB内存/ i5（4核）的台式电脑

我现在的想法是将我的macbook用作主节点，并通过桌面PC上的vm设置2-4个从属节点。也许我可以获得8-16演出额外的记忆。

我并不太关心表现。

或者我应该放弃我的想法并转向Amazon EC2路线？

提前致谢

Answer 1

如果您的数据小于10 GB且性能不是问题，那么您的配置应该足以运行Map Reduce /或许多机器学习程序。我在家里的笔记本电脑上设置了一个2节点集群，与您的配置无关（内存和内核相同），我可以以相当快的速度运行复杂的hadoop作业。您可以继续这样做，而不是在Amazon EC2上掏钱。