SparkLauncher不会打开第二个火花过程

Question

我写了一个收听kafka主题的Spark应用程序。

已收到的消息包含主题名称和镶木地板路径，每当消息到达时，应用程序会打开一个新的Spark进程，该进程会侦听已收到的Kafka主题，并将传入的数据写入已收到的镶木地板路径。

我尝试在我的本地PC上设法打开几个听取不同主题的过程。

当我在云上运行JAR时，第一个进程打开并按预期工作，但是当我尝试打开第二个进程时，它没有打开。

这就是我打开火花过程的方式：

val spark = new SparkLauncher()
                  .setAppResource(jarPath)
                  .setMainClass("Namespace.ClassName")
                  .setAppName("Name"+topicName)
                  .AddAppArgs(topicName, parquetName)
                  .StartApplication();

Answer 1

我目前没有集群可以测试它，但也许......使用：

.setMaster

和

.setDeployMode