我正在处理庞大的计算物理C ++代码(我没写过),它使用system()
调用调用其他可执行文件。有时在模拟过程中,即使对于system()
这样的简单调用,这些system("echo something);
调用也会失败。当它们失败时,它们会立即返回,返回值为-1。
我创建了一个使用popen()
代替system()
的代码版本来启动这些其他可执行文件。在此版本中,popen()失败,errno设置为12(ENOMEM)。
这是通过Torque PBS系统运行CentOS 6.3(通过ROCKS 6.1)的96GB RAM的机器上运行的。
请注意,这种行为有点不常见,但它似乎发生在使用大量内存的模拟中 - 但远远少于可用的内存量。
我目前正在进行模拟运行,表现出这种行为。它试图每隔30秒进行一次system()
调用并失败,这使我可以监视操作系统内存资源。 /proc/meminfo
的内容是
MemTotal: 99195180 kB
MemFree: 1758804 kB
Buffers: 14612 kB
Cached: 46502432 kB
SwapCached: 7004 kB
Active: 60758772 kB
Inactive: 35238760 kB
Active(anon): 45458924 kB
Inactive(anon): 4024068 kB
Active(file): 15299848 kB
Inactive(file): 31214692 kB
Unevictable: 9752 kB
Mlocked: 9752 kB
SwapTotal: 1023992 kB
SwapFree: 999432 kB
Dirty: 16 kB
Writeback: 8 kB
AnonPages: 49483620 kB
Mapped: 10292 kB
Shmem: 8 kB
Slab: 235356 kB
SReclaimable: 193468 kB
SUnreclaim: 41888 kB
KernelStack: 2120 kB
PageTables: 99536 kB
NFS_Unstable: 4 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 50621580 kB
Committed_AS: 49576180 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 482936 kB
VmallocChunk: 34307833876 kB
HardwareCorrupted: 8 kB
AnonHugePages: 43315200 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 5568 kB
DirectMap2M: 2082816 kB
DirectMap1G: 98566144 kB
/proc/5939/status
(有问题的流程)的内容是
Name: BAD_EXECUTABLE
State: S (sleeping)
Tgid: 5939
Pid: 5939
PPid: 5938
TracerPid: 0
Uid: 505 505 505 505
Gid: 505 505 505 505
Utrace: 0
FDSize: 256
Groups: 426 505 801
VmPeak: 49733876 kB
VmSize: 49482532 kB
VmLck: 0 kB
VmHWM: 49721496 kB
VmRSS: 49470248 kB
VmData: 49481080 kB
VmStk: 128 kB
VmExe: 1316 kB
VmLib: 0 kB
VmPTE: 96656 kB
VmSwap: 10624 kB
Threads: 1
SigQ: 0/774828
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000000001000
SigCgt: 0000000000000000
CapInh: 0000000000000000
CapPrm: 0000000000000000
CapEff: 0000000000000000
CapBnd: ffffffffffffffff
Cpus_allowed: ffffff
Cpus_allowed_list: 0-23
Mems_allowed: 00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000003
Mems_allowed_list: 0-1
voluntary_ctxt_switches: 57003
nonvoluntary_ctxt_switches: 1057385
我对如何调试此问题感到有些失落,特别是因为我无法使用较小的模拟重新创建它。我的模拟显示它使用47GB的内存,而/proc/meminfo
显示少于2GB的96GB内存是免费的,并且不应该运行其他任何使用数十GB内存的内存。
This forum似乎表明以前的内存错误可能已经破坏了堆。这是有效的可能性吗?我还能看到什么能帮助我缩小这个问题的范围?