在Spark Streaming期间定期加载外部RDD

时间:2018-03-04 07:42:31

标签: scala apache-spark spark-streaming rdd

我有一个单独的rdd需要在我的火花流工作中定期刷新。已经提出了一些解决方案(即Spark Streaming: How to periodically refresh cached RDD?),但它们都涉及在stream.foreachRDD()循环中重建rdd。这将为我创建一个spark context not serializable error,因为我需要使用sc.parallelize()方法创建我的rdd

换句话说,我无法在sc.parallelize()循环中执行foreachRDD()。有关替代方法的任何建议吗?

0 个答案:

没有答案