如何将List [List [Result]]转换为RDD [Result]？

Question

• 就我而言，结果是最终案例类
• 我不能使用sc.parallelize（），因为我的列表很大，并且会使驱动程序崩溃。

Answer 1

如果您的数据太大而无法一次在内存中处理，请一次并行化尽可能多的List[Result]（展平），必要时保留，然后合并RDD。这样，您将获得没有OOM的所有结果的RDD。

Answer 2

答案是列表不会缩放。因为我使用Lists处理“大”数据，所以List [List]并不是最好的主意，因为与RDD列表不同的是，它不会在执行程序之间进行切片和分布。因此，使用非常大的List可能会使执行器节点崩溃。

最终我要做的是通过代码更新以创建RDD [List [Result]]，然后使用flatMap合并并获得RDD [Result]。