如果我尝试将spark.kryoserializer.buffer.mb增加到1GB(1024)以上,我会收到以下错误。
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
请注意,我的系统有128 GB的RAM,所以有足够的内存来容纳比这更大的数组。是因为串行器使用的是32位索引吗?我们怎样才能克服这个限制?或者可能是Java将数组大小限制到这样的限制。我们如何告诉Java使用更大的限制?我们怎样才能通过Spark专门设置它?