RDD和SPARK Streaming Microbatches

时间:2016-12-02 01:46:40

标签: apache-spark streaming

我们总能期望每个微量补丁1个RDD吗?或者这取决于接收器的数量?我们如何保证分拣?

1 个答案:

答案 0 :(得分:1)

  • 单个微量分析始终是一个RDD。它并不取决于接收器的数量。
  • 要确保特定批量订购,您可以使用stream.transform(_.someMethodThatSortsRDD)