处理需要时间并填充ram的大文件

Question

我正在处理一个包含10 millions个记录的文件，这些记录必须在8 millions records中循环，这些记录也将循环150000，我试图将150000划分为{ {1}}但仍然填充了30000的内存，尝试了多处理，但它仍然填满了我的记忆。我已经这样做了将近一个星期我仍在结束500GB进程{{1} } {multiprocessing` {3}}