我希望存储在缓存中的pandas数据帧可以在同一服务器的其他终端中使用
我检查了许多帖子,这些帖子有一个父进程创建的子进程之间共享数据的答案,但似乎无法通过服务器的所有终端访问它们。
我尝试使用SharedArray
模块在/dev/shm
文件系统中创建引用,其他终端也可以使用缓存。
例如:
import numpy as np
import SharedArray as sa
a = sa.create("shm://test", 10)
b = sa.attach("shm://test")
但是,上述方法有一个限制,它只能容纳少于32个元素的numpy
数组。
如上所述,我试图分享一个巨大的数据框。
这是可能的python,如果是的话,请分享任何参考?
为什么我需要这个?
我正在创建一个基于hetrogenous数据表构建的数据框,用于分析我的组织。
该数据帧经过清理和处理,可以非常快速地完成复杂的操作。