spark和cloudera vm

Question

谁能告诉我练习Spark最好的方法是什么？我可以看到他们中的大多数指向安装Cloudera VM。我觉得很难处理它，因为我的系统只有6GB的RAM。这个过程非常慢，令我讨厌。 Cloudera Manger从未发布，我相信它因为它需要8GB的RAM。截至目前，我已经为我的Windows操作系统提供了3 GB，为我的VM提供了3 GB。有没有办法加快这个过程？或者我可以在Ubuntu中安装CDH然后使用spark吗？ （我在我的机器上安装了Ubuntu，这样我就可以为linux分配完整的6GB）。或者我应该购买一台具有8 / 16GB RAM的新机器？

处理器：i5 560M 内存：6GB（5.6可用） VM：VMPlayer（VMware）

任何人都可以让我知道什么是好的配置？

Answer 1

在6GB机器WINDOWS机器主机上用Hadoop练习Spark

遵循以下：

• 在具有4 GB RAM的Oracle VM盒中安装Ubuntu作为Guest O.S（对于WINDOWS机器，2 GB是正常的 - 假设您没有在WIN中运行任何CPU /内存密集型任务）
• 对于4GB VM我强烈建议，不要与Cloudera和Cloudera Manager一起使用（他们将推出大量服务）
• 手动安装hadoop valina稳定版2.4.1（以便您可以控制deamons）使用此链接获取步骤 - link

• 假设

  • 来宾操作系统的预留内存 - 1 GB最小
  • 内存用于Hadoop单节点deamons - 2 GB
  • 休息1 GB，可用于学习火花

• 然后使用单个节点（除了您的VM之外的任何东西）以独立模式安装Spark

希望这些有用：）