我有一个30节点集群，每个节点有32个核心，240 G内存（AWS cr1.8xlarge实例）。我有以下配置：
--driver-memory 200g --driver-cores 30 --executor-memory 70g --executor-cores 8 --num-executors 90
我可以从作业跟踪器中看到我仍然有很多总存储空间，但是在其中一个容器中，我收到以下消息：存储限制= 28.3 GB。我想知道这个28.3 GB来自哪里？我的存储记忆存储量是0.45
我如何解决这个没有足够的空间来缓存rdd 问题？我应该做更多的分区或更改默认并行性...因为我仍然有很多未使用的总存储空间。谢谢！
15/12/05 22:39:36 WARN storage.MemoryStore: Not enough space to cache rdd_31_310 in memory! (computed 1326.6 MB so far)
15/12/05 22:39:36 INFO storage.MemoryStore: Memory use = 9.6 GB (blocks) + 18.1 GB (scratch space shared across 4 tasks(s)) = 27.7 GB. Storage limit = 28.3 GB.
15/12/05 22:39:36 WARN storage.MemoryStore: Not enough space to cache rdd_31_136 in memory! (computed 1835.8 MB so far)
15/12/05 22:39:36 INFO storage.MemoryStore: Memory use = 9.6 GB (blocks) + 18.1 GB (scratch space shared across 5 tasks(s)) = 27.7 GB. Storage limit = 28.3 GB.
15/12/05 22:39:36 INFO executor.Executor: Finished task 136.0 in stage 12.0 (TID 85168). 1272 bytes result sent to driver