我有一个使用Apache Spark的Java 9 Spring应用程序。
基本上我想要发生的事情如下(理想情况下是在REST端点内部);
JavaStreamingContext jssc; // (declared and working as a Spring bean)
List<SparkJobTemplate> jobs; // contains jobs A and B already
jssc.stop();
// jobs C and D come as a parameter in the REST endpoint
jobs.add(jobC);
jobs.add(jobD);
jobs.forEach(job->new SparkJob(job)); // adds necessary streams for processing
jssc.start();
关于是否可行,我在网上看到了一些矛盾的事情。
除我尝试以这种方式动态添加新作业(静态定义的SparkJobs正常工作)外,所有内容都可以与我的Spark作业一起使用。
有没有办法做到这一点,或者我是否需要新的JVM来获取新的/重新启动JavaStreamingContext?谢谢!