我目前正在开发一个Python脚本,该脚本使用多处理模块(更具体地说是multiprocessing.Pool)来拆分用内存中的大型(几个GB)数据结构保存的数据填充某些文件的工作量。最初,我担心如果在分叉主流程后,流程将整个流程状态(包括大型数据结构)复制到每个子流程中,则会扩大规模。但是,读完有关如何减少内存占用量的信息后,我发现recent versions of Linux support copy-on-write在派生一个进程时所得到的信息,这意味着总的物理内存占用量将大大减少。
但是,我不确定我所使用的Linux版本是否足够新才能具有此功能。我能找到一个相对简单的方法吗?