如何重复Spark Streaming中的某些步骤

时间:2016-04-26 06:33:25

标签: java spark-streaming

我正在使用Spark Stream中的Java程序,这需要处理任务有很多步骤。问题是每个任务都有不同的运行步骤。在传统的程序中,它可能看起来像

Params params = initParams();
for (Step step : task.steps()) {
    Result result = step.execute(params);
    params = result.convertToParams();
}

因为步骤不是硬编码的。我必须使用循环逐个遍历所有步骤。但是如何在Spark Streaming中编写这些步骤并将它们链接在一起?

PS:我无法将所有这些步骤放在一个函数调用中,因为我需要使用RDD joinByKey操作的一些步骤。

感谢。

布鲁斯

0 个答案:

没有答案