python使DataFrame可用于服务器的其他终端

时间:2018-04-04 08:28:00

标签: python pandas

我希望存储在缓存中的pandas数据帧可以在同一服务器的其他终端中使用 我检查了许多帖子,这些帖子有一个父进程创建的子进程之间共享数据的答案,但似乎无法通过服务器的所有终端访问它们。

我尝试使用SharedArray模块在​​/dev/shm文件系统中创建引用,其他终端也可以使用缓存。
例如:

import numpy as np
import SharedArray as sa

a = sa.create("shm://test", 10)
b = sa.attach("shm://test")

但是,上述方法有一个限制,它只能容纳少于32个元素的numpy数组。
如上所述,我试图分享一个巨大的数据框。
这是可能的python,如果是的话,请分享任何参考?


为什么我需要这个? 我正在创建一个基于hetrogenous数据表构建的数据框,用于分析我的组织。 该数据帧经过清理和处理,可以非常快速地完成复杂的操作。

0 个答案:

没有答案