在不使用collect的情况下，在apache spark中迭代RDD

Question

我有一个POJO值的RDD。我需要迭代RDD的值。但由于数据量巨大，我不想使用收集。

是否有任何替代方法可以在不使用collect的情况下迭代RDD值。

Answer 1

您正在寻找的是地图或mapPartition转换的火花。

请点击此链接以获取更多见解

  

http://bytepadding.com/big-data/spark/spark-map/

     

http://bytepadding.com/big-data/spark/spark-mappartitions/