为什么我们需要虚拟机来安装和使用Apache Spark？

Question

我是大数据生态系统的新手。我正在尝试安装Apache Spark，但是我在网上找到的教程要求我首先安装虚拟机。有人可以解释一下为什么我的Windows计算机上需要VM吗？

Answer 1

你不知道。

Spark使用Java。 Java在所有操作系统上运行。

---

教程可能会使用Hortonworks或Cloudera VM，因为所有内容都是预先配置的，但这只是您可以在自己的OS上进行的优化。

How to set up Spark on Windows?

Answer 2

在虚拟机上运行Apache Spark时没有要求。您可以在本地计算机上完美运行它。但是，通常在运行诸如Apache Spark之类的软件时，您正在处理大量数据，并且这样做需要在群集中运行大量软件实例。这种类型的要求具有大量数据集，这意味着在虚拟机上运行它们更为有意义，因为虚拟机可以在单个服务器上运行多个，而不是在每个物理服务器上运行一个实例。