.collect（）有什么作用？

Question

我理解.collect(pf)，其中pf是部分函数，​​相当于.filter(pf.isDefinedAt _).map(pf)。我不明白的是.collect()所做的事情。谁能解释一下呢？

Answer 1

collect没有参数fetches all data stored in a RDD to the driver。

  

返回一个包含此RDD中所有元素的数组。

     

请注意

     

只有在期望结果数组很小的情况下才能使用此方法，因为所有数据都被加载到驱动程序的内存中。

与PartialFunction版本无任何关联。两者都用于完全不同的事情。