如何限制Python _ pandas的内存使用

Question

目前正在使用熊猫操作合并两个csv文件需要大约4.6 GB的RAM我想将RAM使用量限制为2 GB，如java -Xmax和-Xmin

是他们的任何方式

提前致谢

Answer 1

使用setrlimit：

import resource

rsrc = resource.RLIMIT_DATA
soft, hard = resource.getrlimit(rsrc)
print 'Soft limit starts as  :', soft

resource.setrlimit(rsrc, (1024, hard)) #limit to one kilobyte

soft, hard = resource.getrlimit(rsrc)
print 'Soft limit changed to :', soft

编辑：实际上，我不确定setrlimit是否控制CPU或RAM使用率。但是，从shell开始，您可以使用ulimit：

ulimit -v 128k
python script.py
ulimit -v unlimited

编辑：请注意，这适用于 Linux 系统，我不知道如何执行此操作，或者它可以在Windows上使用。