KryoSerializer缓冲区溢出

时间:2015-07-16 03:49:49

标签: apache-spark

由于KryoSerializer缓冲区溢出,我有一些在Spark 1.2中工作正常但不在1.3中的Spark作业。我尝试将spark.kryoserializer.buffer.max增加到20GB,将spark.kryoserializer.buffer增加到2GB。但这没有帮助。我使用KryoSerializer是错误还是尚未准备好黄金时间呢?

通过试验和错误,似乎Kryoserializer缓冲区的上限为2GB。不确定它是设计还是其他什么?

1 个答案:

答案 0 :(得分:5)

我的观察结果是正确的:SPARK-6405:将最大Kryo缓冲区大小限制为2GB。显然,Databrick的技术传播者并不了解它并告诉我增加缓冲区大小。