Question

我试图在python和lua之间传递数据（数组），我想使用Torch7框架操作lua中的数据。我认为这可以通过C完成，因为python和lua与C接口。还有一些优点是不需要这种方式进行数据复制（只传递指针）并且速度很快。

我实现了两个程序，一个是lua嵌入在c中，另一个是python将数据传递给c。它们在编译为可执行二进制文件时都有效。但是，当c到lua程序被改为共享库时，事情就不起作用了。

细节：我使用的是64位ubuntu 14.04和12.04。我正在使用luajit 2.0.2和lua 5.1安装在/ usr / local / 依赖库位于/ usr / local / lib中，头文件位于/ usr / local / include中我正在使用python 2.7

c到lua程序的代码是：

tensor.lua

require 'torch'

function hi_tensor(t)
   print(‘Hi from lua')
   torch.setdefaulttensortype('torch.FloatTensor')
   print(t)
return t*2
end

cluaf.h

void multiply (float* array, int m, int n, float *result, int m1, int n1);

cluaf.c

#include <stdio.h>
#include <string.h>
#include "lua.h"
#include "lauxlib.h"
#include "lualib.h"
#include "luaT.h"
#include "TH/TH.h"

void multiply (float* array, int m, int n, float *result, int m1, int n1)
{
    lua_State *L = luaL_newstate();
    luaL_openlibs( L );

    // loading the lua file
    if (luaL_loadfile(L, "tensor.lua") || lua_pcall(L, 0, 0, 0))
    {
        printf("error: %s \n", lua_tostring(L, -1));
    }

    // convert the c array to Torch7 specific structure representing a tensor
    THFloatStorage* storage =  THFloatStorage_newWithData(array, m*n);
    THFloatTensor* tensor = THFloatTensor_newWithStorage2d(storage, 0, m, n, n, 1);
    luaT_newmetatable(L, "torch.FloatTensor", NULL, NULL, NULL, NULL);

    // load the lua function hi_tensor
    lua_getglobal(L, "hi_tensor");
    if(!lua_isfunction(L,-1))
    {
        lua_pop(L,1);
    }

    //this pushes data to the stack to be used as a parameter
    //to the hi_tensor function call
    luaT_pushudata(L, (void *)tensor, "torch.FloatTensor");

    // call the lua function hi_tensor
    if (lua_pcall(L, 1, 1, 0) != 0)
    {
        printf("error running function `hi_tensor': %s \n", lua_tostring(L, -1));
    }

    // get results returned from the lua function hi_tensor
    THFloatTensor* z = luaT_toudata(L, -1, "torch.FloatTensor");
    lua_pop(L, 1);
    THFloatStorage *storage_res =  z->storage;
    result = storage_res->data;

    return ;
}

然后测试我做：

luajit -b tensor.lua tensor.o

gcc -w -c -Wall -Wl,-E -fpic cluaf.c -lluajit -lluaT -lTH -lm -ldl -L /usr/local/lib

gcc -shared cluaf.o tensor.o -L/usr/local/lib -lluajit -lluaT -lTH -lm -ldl -Wl,-E -o libcluaf.so

gcc -L. -Wall -o test main.c -lcluaf

./test

输出：

Hi from lua
 1.0000  0.2000
 0.2000  5.3000
[torch.FloatTensor of dimension 2x2]

c result 2.000000 
c result 0.400000 
c result 0.400000 
c result 10.60000

到目前为止一切顺利。但是当我尝试在python中使用共享库时，它会中断。

test.py

from ctypes import byref, cdll, c_int
import ctypes
import numpy as np
import cython

l = cdll.LoadLibrary(‘absolute_path_to_so/libcluaf.so')

a = np.arange(4, dtype=np.float64).reshape((2,2))
b = np.arange(4, dtype=np.float64).reshape((2,2))

l.multiply.argtypes = [ctypes.POINTER(ctypes.c_float), ctypes.c_int, ctypes.c_int,     ctypes.POINTER(ctypes.c_float), ctypes.c_int, ctypes.c_int]
a_list = []
b_list = []

for i in range(a.shape[0]):
    for j in range(a.shape[1]):
            a_list.append(a[i][j])

for i in range(b.shape[0]):
     for j in range(b.shape[1]):
        b_list.append(b[i][j])

arr_a = (ctypes.c_float * len(a_list))()
arr_b = (ctypes.c_float * len(b_list))()

l.multiply(arr_a, ctypes.c_int(2), ctypes.c_int(2), arr_b, ctypes.c_int(2), ctypes.c_int(2))

我跑：

python test.py

，输出为：

error: error loading module 'libpaths' from file '/usr/local/lib/lua/5.1/libpaths.so':
    /usr/local/lib/lua/5.1/libpaths.so: undefined symbol: lua_gettop

我在这里和网上的任何地方都搜索过这个错误，但他们建议（1）包括-Wl，-E导出符号或（2）添加依赖于我所做的链接。（1）我有-Wl，-E但似乎没有做任何事情。（2）我已经包含了依赖项（-L / usr / local / lib -lluajit -lluaT -lTH -lm -ldl）

当导入共享库但是在调用lua中的'require torch'时，python测试失败。在这种情况下，我发现的其他情况也是不同的。

luajit.so定义符号lua_gettop（nm /usr/local/lib/luajit.so来查看） lua.h定义LUA_API int（lua_gettop）（lua_State * L）;

我想在编译c到二进制文件时，所有工作都是因为它找到了lua.h中的所有符号但是使用共享库它不会从luajit.so中选择lua_gettop（我不知道为什么）。

www.luajit.org/running.html说：＆＃39;在大多数基于ELF的系统（例如Linux）上，您需要在链接应用程序时显式导出全局符号，例如：用：-Wl，-E require（）尝试从导出的符号（在Windows上的* .exe或lua51.dll中）和package.cpath中的共享库中加载嵌入的字节码数据。＆＃39;

package.cpath和package.path是：

./?.so;/usr/local/lib/lua/5.1/?.so;/usr/local/lib/lua/5.1/loadall.so

./?.lua;/usr/local/share/luajit-2.0.2/?.lua;/usr/local/share/lua/5.1/?.lua;/usr/local/share/lua/5.1/?/init.lua

这是nm libcluaf.so返回的内容：

00000000002020a0 B __bss_start
00000000002020a0 b completed.6972
                 w __cxa_finalize@@GLIBC_2.2.5
0000000000000a50 t deregister_tm_clones
0000000000000ac0 t __do_global_dtors_aux
0000000000201dd8 t __do_global_dtors_aux_fini_array_entry
0000000000202098 d __dso_handle
0000000000201de8 d _DYNAMIC
00000000002020a0 D _edata
00000000002020a8 B _end
0000000000000d28 T _fini
0000000000000b00 t frame_dummy
0000000000201dd0 t __frame_dummy_init_array_entry
0000000000000ed0 r __FRAME_END__
0000000000202000 d _GLOBAL_OFFSET_TABLE_
                 w __gmon_start__
0000000000000918 T _init
                 w _ITM_deregisterTMCloneTable
                 w _ITM_registerTMCloneTable
0000000000201de0 d __JCR_END__
0000000000201de0 d __JCR_LIST__
                 w _Jv_RegisterClasses
                 U lua_getfield
0000000000000d99 R luaJIT_BC_tensor
                 U luaL_loadfile
                 U luaL_newstate
                 U luaL_openlibs
                 U lua_pcall
                 U lua_settop
                 U luaT_newmetatable
                 U lua_tolstring
                 U luaT_pushudata
                 U luaT_toudata
                 U lua_type
0000000000000b35 T multiply
                 U printf@@GLIBC_2.2.5
0000000000000a80 t register_tm_clones
                 U THFloatStorage_newWithData
                 U THFloatTensor_newWithStorage2d
00000000002020a0 d __TMC_END__

提前致谢

Answer 1

在Linux上，Lua模块不直接链接到Lua库，而是希望找到已经加载的Lua API函数。这通常通过使用-Wl,-E链接器标志从解释器导出它们来完成。此标志仅适用于可执行文件中的符号，而不适用于共享库。对于共享库，存在类似的内容：RTLD_GLOBAL函数的dlopen标志。默认情况下，编译器命令行中列出的所有共享库都使用RTLD_LOCAL加载，但幸运的是Linux重用已经打开的库句柄。所以你可以：

在自动加载之前使用RTLD_GLOBAL 预加载Lua（JIT）库（当您加载libcluaf.so时会发生这种情况）：

from ctypes import byref, cdll, c_int import ctypes lualib = ctypes.CDLL("libluajit-5.1.so", mode=ctypes.RTLD_GLOBAL) l = cdll.LoadLibrary('absolute_path_to_so/libcluaf.so') # ...

或者使用RTLD_NOLOAD的{{1}}标志更改Lua（JIT）库句柄的标志。但是这个标志不在POSIX中，你可能必须使用C来这样做。参见例如here

Answer 2

为了在python / numpy和lua / torch之间交换数据，你可以尝试一个名为＆＃34; lutorpy＆＃34;的库。它完全符合您的要求，共享内存并仅将指针传递给＆＃34; asNumpyArray（）＆＃34;方法

import lutorpy as lua
import numpy as np

## run lua code in python with minimal modification:  replace ":" to "._"
t = torch.DoubleTensor(10,3)
print(t._size()) # the corresponding lua version is t:size()

## convert torch tensor to numpy array
### Note: the underlying object are sharing the same memory, so the conversion is instant
arr = t.asNumpyArray()
print(arr.shape)

## or, you can convert numpy array to torch tensor
xn = np.random.randn(100)
## convert the numpy array into torch tensor
xt = torch.fromNumpyArray(xn)

Answer 3

lua_gettop是Lua .so中定义的函数，在您的情况下必须是luajit.so。看起来你将你的lib链接到它，那很好，然后你将main链接到你的lib，所以假设c编译器找到了luajit中main使用的Lua函数。到现在为止还挺好。

现在当您通过python中的ctypes加载lib时，luajit lib会自动加载吗？你会期望它，但你应该确认，也许你必须告诉ctypes加载链接的库。另一种可能性是ctypes或lib加载器找不到luajit，可能是因为它查找了luajit所在的位置。为了确保您可能想要尝试将所有库放在您调用Python的相同文件夹中。

如果这没有帮助，请尝试尝试的变体：不要在python中加载模块，只需使用ctypes直接加载luajit，然后尝试调用它的一些方法。

通过共享库连接Python和Torch7（Lua）

3 个答案: