apache spark:随机读取大小和随机溢出(内存)之间的关系?

时间:2019-02-22 21:02:51

标签: apache-spark apache-spark-sql spark-webui

我已经谷歌搜索并且知道

随机溢出(内存)是在我们溢出数据时在内存中反序列化形式的数据的大小。

随机播放读取大小/记录是随机播放字节和读取记录的总数(包括本地读取的数据和从远程执行者读取的数据)

那么它们之间是什么关系? 为什么有时洗牌读取大小比洗牌溢出(内存)小得多,但有时洗牌读取大小> 0且洗牌溢出(内存)= 0的原因是什么? enter image description here

0 个答案:

没有答案