java.lang.IllegalStateException:不支持在启动上下文后添加新输入,转换和输出操作

时间:2016-03-21 13:51:29

标签: apache-spark

当我尝试在Spark的Function调用中创建一个dStream时,我得到了异常。

我的通话方式:

META-INF/resources/WEB-INF

例外:

@Override
public JavaRDD<Object> call(JavaRDD<Object> v1) throws Exception {
    Queue<JavaRDD<Object>> queue = new LinkedList<>();
    queue.add(v1);
    JavaDStream<Object> dStream = context.queueStream(queue);
    JavaDStream<Object> newDStream = dStream.map(AbstractProcessor.this);
    final JavaRDD<Object> rdd = context.sparkContext().emptyRDD();
    newDStream.foreachRDD(new SaxFunction<JavaRDD<Object>, Void>() {
        private static final long serialVersionUID = 672054140484217234L;

        @Override
        public Void execute(JavaRDD<Object> object) throws Exception {
            rdd.union(object);
            return null;
        }
    });
    return rdd;
}

有没有办法可以在运行时创建dStream并对其进行操作,或者我可以在上下文启动后更新DAG? 提前谢谢。

0 个答案:

没有答案