Spark Streaming如何保证多个foreachRDD的顺序

时间:2019-01-23 02:21:32

标签: apache-spark spark-streaming

我想对DStream执行一系列操作。动作N + 1必须在动作N之后执行。这些实现之间有什么区别?

list_alpha = list_creation()

1 个答案:

答案 0 :(得分:2)

如果我们假设每个action都在完整的RDD上运行,例如action(rdd),则这两个表达式应按结果顺序等效。

在执行级别,最高版本将生成三个Spark作业,而最低版本将仅生成一个。