为什么在Spark作业中出现内存不足错误?

时间:2017-02-22 01:50:06

标签: apache-spark

在火花作业中,出现内存错误的原因有很多,主要是在随机播放时间较大的情况下。但是,每当数据(缓存数据或随机数据)不适合执行程序内存时,来自spark作业的预期行为就会溢出到磁盘上,因此理论上我们永远不应该看到内存不足的问题。但显然这不是实践中的行为。是什么原因?

0 个答案:

没有答案