Hadoop分布式缓存大小的限制是什么？

Question

我是Hadoop的新手，我听说分布式缓存大小最大为10GB。它是否正确？如果我的大小超过10 GB，有什么更好的解决方案吗？

Answer 1

默认情况下，缓存大小为10GB。如果您想要更多内存，请在local.cache.size中配置mapred-site.xml以获得更大的值。

不这样做的原因：最好在分布式缓存中保留几MB的数据。否则会影响您的应用程序的性能。