Spark:停止JavaStreamingContext,添加新作业,然后重新启动JavaStreamingContext

时间:2018-10-02 17:04:13

标签: java spring apache-spark spark-streaming

我有一个使用Apache Spark的Java 9 Spring应用程序。

基本上我想要发生的事情如下(理想情况下是在REST端点内部);

JavaStreamingContext jssc; // (declared and working as a Spring bean)
List<SparkJobTemplate> jobs; // contains jobs A and B already

jssc.stop();

// jobs C and D come as a parameter in the REST endpoint
jobs.add(jobC);
jobs.add(jobD);

jobs.forEach(job->new SparkJob(job)); // adds necessary streams for processing

jssc.start();

关于是否可行,我在网上看到了一些矛盾的事情。

除我尝试以这种方式动态添加新作业(静态定义的SparkJobs正常工作)外,所有内容都可以与我的Spark作业一起使用。

有没有办法做到这一点,或者我是否需要新的JVM来获取新的/重新启动JavaStreamingContext?谢谢!

0 个答案:

没有答案