我目前有一个大型数据库(存储为numpy数组),我想要执行搜索,但是由于尺寸我想将数据库分成几块并在组合之前对每一块进行搜索结果。
我正在寻找一种方法来在不同的python进程上托管拆分数据库,他们将等待查询,然后执行搜索,并将结果发送回主进程。
我已尝试使用多处理程序包加载不同的东西,但我找不到任何方法(a)在加载数据库后保持进程活动,以及(b)向同一进程发送更多命令初始化后。
现在已经对这个问题感到头疼了好几天了,所以任何建议都会非常感激。
编辑:我的问题类似于尝试以python进程的形式托管'web'apis,我希望能够随时发送和接收请求,而无需每次都重新加载数据库分片。