标签: apache-spark shuffle
我在spark webUI中注意到在spark 2.3群集上运行作业,某些任务会发生溢出:
我了解到,在约简方面,约简会获取所需的分区(随机读取),然后使用执行程序的执行内存执行约简计算。由于执行内存不足,因此溢出了一些数据。
我的问题:
预先感谢您的帮助