我有一个单独的rdd需要在我的火花流工作中定期刷新。已经提出了一些解决方案(即Spark Streaming: How to periodically refresh cached RDD?),但它们都涉及在stream.foreachRDD()
循环中重建rdd。这将为我创建一个spark context not serializable error
,因为我需要使用sc.parallelize()
方法创建我的rdd
换句话说,我无法在sc.parallelize()
循环中执行foreachRDD()
。有关替代方法的任何建议吗?