本地模式和集群中Spark程序的区别

Question

如果我编写一个spark程序并以独立模式运行它，并且要在集群中部署它，是否需要更改程序代码还是不需要更改代码？ Spark编程是否与群集数量无关？

Answer 1

我认为您不需要进行任何更改。您的程序应以与本地模式下相同的方式运行。

是的，Spark程序独立于群集，直到并且除非您正在使用特定于群集的内容。通常，这是由YARN管理的。

Answer 2

要在群集上运行时，只需将选项master设置为yarn或其他资源管理器。 如果要在本地运行它，只需使用local[*]并使用与您的计算机核心相同的线程数即可。