RDDFunctions.sliding-返回空的RDD

时间:2018-09-13 13:51:42

标签: scala apache-spark rdd

有人可以解释一下为什么RDDFunctions.sliding如果窗口大小大于项目总数时应该返回空的RDD吗?

RDDFunctions.fromRDD(rdd).sliding(500)
  

通过将其父RDD的项目在固定大小的块上分组来返回一个RDD,方法是在它们上方滑动一个窗口。排序首先基于分区索引,然后基于每个分区中的项目排序。这与Scala集合中的滑动类似,不同之处在于,如果窗口大小大于项目总数,它将变为空的RDD 。如果父RDD具有多个分区并且窗口大小大于1,则需要触发Spark作业。

0 个答案:

没有答案