我正在做一个结果是高维结构的实验。我使用MultiIndex
来表示结果对象,并使用multiprocessing
来计算和填充它。结果集非常大,可以轻松达到数百万到数十亿的条目。如果结果是3D,我可以让执行计算的函数返回df
,然后将它们组合成一个面板。
当结果对象为5D或更高时,我发现从单个进程中执行的每个函数返回结果子集不是直接和内存消耗。但是,如果我让每个进程将结果直接写入计算之前创建的MultiIndex
全局变量(结果),则它不起作用。结果df
的值全部为NaN
,因为它已创建。
非常感谢任何建议!