我目前运行的是一个包含4个火花节点和1个solr节点的集群。我想快速将群集扩展到20个节点，然后大约100个。我只是不确定使用Mesos或Yarn的簇大小是什么意思？当我有少于100个节点时添加Yarn或Mesos是否有意义？
由于
答案 0 :(得分：1)
Mesos和YARN可以毫无问题地扩展到数千个节点。
工作负载决定使用什么，如果你的工作负载只有与spark或hadoop相关的作业/任务，YARN将是更好的选择，否则如果你有Docker容器或其他东西运行那么Mesos会是一个更好的选择。
使用Mesos还有许多其他优点和缺点，请在比较here中找到它们。
如果您只运行Spark，Spark独立群集将提供与其他群集管理器几乎所有相同的功能。
如果您希望将Spark与其他应用程序一起运行，或者使用更丰富的资源调度功能（例如队列），YARN和Mesos都会提供这些功能。其中，YARN可能会预先安装在许多Hadoop发行版中。
如果你的节点少于100个并且你不打算在spark旁边运行任何其他应用程序，那么spark独立集群将是一个更好的选择，因为你不会过度使用。
它再次取决于你想要使用的功能，如公平调度程序等队列或调度程序，然后YARN / Mesos才有意义。 （要使用这些功能或不使用它们取决于您对Spark集群的工作量，工作负载以及集群的繁忙程度。）