Spark Kyro缓冲区大小限制

时间:2015-05-20 09:58:13

标签: java jvm apache-spark bigdata

如果我尝试将spark.kryoserializer.buffer.mb增加到1GB(1024)以上,我会收到以下错误。

java.lang.OutOfMemoryError: Requested array size exceeds VM limit

请注意,我的系统有128 GB的RAM,所以有足够的内存来容纳比这更大的数组。是因为串行器使用的是32位索引吗?我们怎样才能克服这个限制?或者可能是Java将数组大小限制到这样的限制。我们如何告诉Java使用更大的限制?我们怎样才能通过Spark专门设置它?

0 个答案:

没有答案