我正在使用Spark Stream中的Java程序,这需要处理任务有很多步骤。问题是每个任务都有不同的运行步骤。在传统的程序中,它可能看起来像
Params params = initParams();
for (Step step : task.steps()) {
Result result = step.execute(params);
params = result.convertToParams();
}
因为步骤不是硬编码的。我必须使用循环逐个遍历所有步骤。但是如何在Spark Streaming中编写这些步骤并将它们链接在一起?
PS:我无法将所有这些步骤放在一个函数调用中,因为我需要使用RDD joinByKey操作的一些步骤。
感谢。
布鲁斯