R将在运行OSX的Mac Pro上利用64GB内存吗?

时间:2015-09-24 22:52:12

标签: r macos

我在2014年初的13英寸MacBook Air上使用R 3.1.2,配备8GB和1.7GHz Intel Core I7,运行Mavericks OSX。

最近,我开始使用大得多的数据框架(超过200万行和500多列),我遇到了性能问题。在Activity Monitor中,我看到虚拟内存大小为64GB,32GB分页文件等,“内存压力”指示灯为红色。

我可以在这个问题上使用“抛出更多硬件”吗?由于MacBook Air的物理内存为8GB,我考虑购买一台64GB内存的Mac Pro。在我花费$ 5K +之前,我想询问R中是否存在任何固有限制,除了我在此处阅读的内容:R Memory Limits或者是否有任何拥有Mac Pro的人遇到任何运行R的问题/ RStudio就可以了。我使用Google搜索过,并没有提出任何有关在Mac Pro上运行R的具体信息。

请注意,我知道除非我重写代码,否则我仍将使用1个CPU内核。我只是想先解决内存问题。

1 个答案:

答案 0 :(得分:-1)

几点想法:

1)使用像https://www.dominodatalab.com(非附属)这样的云服务更具成本效益。亚马逊AWS也可以工作,多米诺骨牌的好处在于它可以解决管理环境的问题,因此您可以专注于数据科学。

2)您可能想重新设计处理管道,以便不是所有数据都需要同时加载到内存中(很快您会发现需要128 GB,然后是什么)。阅读内存映射,使用数据库,将管道分成几个可以彼此独立执行的步骤等(谷歌搜索引出http://user2007.org/program/presentations/adler.pdf)。在处理现实生活中的数据集时,内存不足是一个常见问题,在问题上投入更多硬件并不总是最佳选择(尽管有时候真的无法避免)。