如何处理rdd的发现

时间:2019-08-30 07:58:37

标签: apache-spark spark-streaming

假设我们有一个DStream,我们正在处理每个rdd。

因此,每个RDD都会进行一些计算,其结果将是具有固定大小(例如100k)的较少元素的rdd。我们如何将这100k转移到下一个RDD?我应该广播它还是存储并检索?

这里的意思是,在某些计算结束时,每个rdd的大小都是固定的。

0 个答案:

没有答案