我在群集上通过Slurm运行python脚本。当脚本尝试从文件中逐行读取数据时,脚本引发了MemoryError异常。引发异常的代码段显示为附带。当迭代fread时,它可能发生在第2行,或者当分割线时,可能发生在第4行。我请求的节点和节点一样大,而MaxRSS只显示了所请求内存的一小部分。也就是说,这不是因为我没有请求足够的内存量。
然而,奇怪的是,当我直接在节点上运行代码时(与我提交Slurm作业的代码完全相同),没有错误。
我猜Slurm对内存使用有一些限制,因此Python无法完全使用我请求的内存?有这样一个问题的想法或经验吗?