我可以使用Apache Spark Standalone版本分发工作吗？

Question

我听到有人在谈论一个＆＃34; Apache Standalone Cluster＆＃34;，因为我理解了一个＆＃34;集群＆＃34;作为通过潜在的快速网络连接并且并行工作的各种机器，以及＆＃34;独立的＆＃34;作为孤立的机器或程序。所以问题是，Apache Standalone可以通过网络分布式工作吗？如果可以，那么与非独立版本相比有什么不同？

Answer 1

Spark中的{p> Standalone（不要误解为本地）意味着您不使用外部资源管理（YARN，Mesos），而是使用Spark自己的资源管理实用程序。它可以像Spark一样在其他集群管理器上进行分发。

local模式下的Spark在单个JVM上运行。它不能分发（但是，在单个机器的限制内仍然与线程和进程并行化）仅对开发有用。