Question

我必须反复将一个大数组从Lua移到Python。目前，我将Lua代码作为Python的子进程运行，并从其stdout读取数组。这比我想要的慢得多，并且瓶颈似乎几乎完全是Python p.stdout.read([byte size of array])调用，因为单独运行Lua代码要快得多。

根据我的阅读，改进管道的唯一方法是使用共享内存，但是（几乎）总是讨论不同Python进程之间的多处理而不是Python和子进程之间的处理。

有没有合理的方法在Python和Lua之间共享内存？相关答案建议使用直接调用shm_open但我宁愿使用预建模块/软件包（如果存在）。

Answer 1

这里是我用Lua的Torch和Python的NumPy找到的解决方案。 Lua代码是使用lupa从Python运行的。

在main.lua：

require 'torch'

data_array = torch.FloatTensor(256, 256)

function write_data()
    return tonumber(torch.data(data_array:contiguous(), true))
end

来自Python：

import ctypes
import lupa
import numpy as np

data_shape = (256, 256)

lua = lupa.LuaRuntime()
with open('main.lua') as f: lua.execute(f.read())
data_array = np.ctypeslib.as_array(ctypes.cast(ctypes.c_void_p(lua.globals().write_data()), ctypes.POINTER(ctypes.c_float)), shape=data_shape)

构造

data_array以指向Torch张量的存储。

Answer 2

在探索共享内存的路径之前，我建议您进行一些分析实验，以准确确定花费的时间。

如果您的实验证明您花费了太多时间在流程之间序列化/反序列化数据，那么使用共享内存以及旨在避免像Cap'n Proto这样的成本的格式可能是一个很好的解决方案。

快速搜索了这两个库：

lua-capnproto - Lua-capnp是基于luajit的纯粹lua实现的capnproto。
pycapnp - 这是Cap'n Proto库的C ++实现的python包装。

但绝对要先进行剖析。

还有一个原因lupa不适合你？

来自Lua的Python sharedmem访问

2 个答案: