将数据从RDD流式传输到驱动程序

时间:2017-01-11 15:31:54

标签: apache-spark spark-streaming

我有一个要求,我们希望将Spark中RDD持有的大型日期集流式传输到驱动程序。我们不能从驱动程序调用RDD上的collect()或take()以避免OOM,但无论如何,使用某些中间通道可以流式传输数据吗?即将RDD数据推送到流并且驱动程序从该流读取?

0 个答案:

没有答案