foreachRDD何时返回N个RDD?

时间:2017-11-12 20:17:14

标签: spark-streaming

根据好的帖子stackoverflow 36421619,在Spark Streaming中对foreachRDD进行了一些讨论。尽管如此,我觉得在阅读散文时答案还不够清晰。所以这里......

我的问题是:

  1. foreachRDD什么时候会...返回超过1个RDD?有N个批次的滑动窗口?
  2. 如果我们只按批次处理,那么就有一个RDD,所以?
  3. 最常见的用例似乎是为了坚持外部存储我注意到。这似乎是大多数输出​​操作的指南。我在某种程度上错过了什么。

1 个答案:

答案 0 :(得分:0)

仅用于窗口操作,否则1 micratch = 1 RDD。