Thinbug
News
Spark:如何附加到缓存的rdd?
时间:2015-12-03 23:02:04
标签:
caching
apache-spark
spark-streaming
每个流式数据批量都会缓存不同的值。
如何通过将下一批次中的下一个不同值添加到已缓存的RDD来构建缓存?
1 个答案:
答案 0 :(得分:0)
您无法使用Rdd直接附加数据,因为它是不可变的。使用union创建新的Rdd然后缓存它。
相关问题
将文件名附加到RDD
Spark:如何附加到缓存的rdd?
Spark Streaming:如何定期刷新缓存的RDD?
Spark列出所有缓存的RDD名称
Scala - 将RDD附加到自身
重用缓存的Spark RDD
使用循环将条目附加到RDD
为什么SPARK将RDD溢出缓存到磁盘?
缓存RDD上的EOFError
从内存中触发未缓存的RDD收回
最新问题
我写了这段代码,但我无法理解我的错误
我无法从一个代码实例的列表中删除 None 值,但我可以在另一个实例中。为什么它适用于一个细分市场而不适用于另一个细分市场?
是否有可能使 loadstring 不可能等于打印?卢阿
java中的random.expovariate()
Appscript 通过会议在 Google 日历中发送电子邮件和创建活动
为什么我的 Onclick 箭头功能在 React 中不起作用?
在此代码中是否有使用“this”的替代方法?
在 SQL Server 和 PostgreSQL 上查询,我如何从第一个表获得第二个表的可视化
每千个数字得到
更新了城市边界 KML 文件的来源?