跨不同的python进程共享内存(在unix上生成)

时间:2018-04-05 17:26:11

标签: python python-3.x python-multiprocessing

我们有一个应用程序,我们启动多个python进程,每个进程缓存大量数据(5-10 GB)。有没有办法可以缓存这些数据并在我的所有python进程中共享内存。我读到了Managers(),pipe等,但如果所有进程都是一个公共父进程的子进程,它们似乎都很好。我的场景如下。 我将我的流程生成为

./start_my_process.sh 1
./start_my_process.sh 2
./start_my_process.sh 3

这将调用3个不同的线程,其中实际逻辑发生相同但基于参数i在每个命令传递的不同i / p集上。现在所有这三个进程都在缓存数据......我想把它放在中心位置,让所有这3个进程都可以访问它们。它可以直接从python中获得,或者我必须使用某种内存缓存,例如hazelcast,Apache点燃等

0 个答案:

没有答案