我有一个集群,该集群有10个节点,每个节点具有244GB内存和1TB内存。
如果我有一个500GBx10的数据集,是否会自动默认导致磁盘溢出或我必须调用persist
并将默认存储级别设为MEMORY_AND_DISK
?
答案 0 :(得分:0)
cache
将数据缓存到内存中,一旦内存已满,它将溢出到磁盘上。默认存储级别为MEMORY_AND_DISK
。如果您需要其他任何选项,则可以使用带有所需选项的persist
方法提供该选项来存储结果。
persist
有不同的选项,但是cache
就像坚持使用MEMORY_AND_DISK选项。