Spark Struct流窗口内存使用情况

时间:2018-07-09 07:56:57

标签: spark-streaming

在Spark结构流中,当数据主要在窗口中缓存时,如何存储?只是在内存中还是像rdd一样溢出到磁盘中?有一些 像flink-RocksDBStateBackend一样? 关于窗口的代码为:

from itertools import chain set_a = set(a) terms = set(chain.from_iterable(b)) has_terms = set_a & terms

0 个答案:

没有答案