我正在编写一个KafkaConsumer应用程序,我们在Yarn-Cluster模式下运行Kafka Consumer作为Spark Streaming Application。这个KafkaConsumer的职责是使用org.apache.spark.launcher.SparkLauncher监听不同的主题并在Yarn-Cluster模式下启动新的SparkApplications。
现在的问题是,当KafkaConsumer在Yarn-Client模式下运行时,新的Spark应用程序将成功启动,但在群集模式下,它会被卡住。
任何帮助或指示都非常感谢。在此先感谢。