如何在本地模式下使用Spark利用本地资源？

Question

我一直在使用Apache Spark编写一个桌面应用程序，它可以让您以交互方式篡改数据。我最近开始阅读“学习Spark”，并且作者说在local模式下（当master设置为local时）Spark仅使用一个Thread。

如果我的计算机上没有完整的Spark群集，我如何利用计算机中的所有核心？

我正在使用Java / Kotlin。

Answer 1

默认为1，但您可以指定您喜欢的数量：

 val config = SparkConfig()
 config.setMaster("local[8]") // local, using 8 threads (you can vary the number)
 config.setAppName("qwerty")
 val context = SparkContext(config)