使用boost.python在cygwin中手动构建python扩展

时间:2013-03-22 13:35:58

标签: c++ build cygwin boost-python python-extensions

很抱歉这样一般的标题,但我不太确定我到底错过了什么,或者我做错了什么。我的目标是在cygwin下使用boost.python构建一个python扩展,并避免使用make而不是bjam的boost.build工具。后一种方式对我来说非常好,但现在我想这样做。我通过谷歌搜索和寻找类似的主题解决了许多问题,这有助于我找出一些技巧并继续前进。然而在最后一步似乎存在一些问题。我将尝试在一些细节中描述我的所有步骤,希望这篇文章可能对将来的其他人有用,并且更好地描述设置。

因为我不太确定原始(来自各种cygwin存储库)python和boost的安装我决定从头开始在我的主目录中安装它们,所以这就是我所做的:

  1. 首先安装python。我会跳过这方面的细节,它或多或少是直截了当的。后一种描述的重要之处只是路径:

    /home/Alexey_2/Soft/python2.6 - 这是PYTHONPATH,也包含在PATH中

  2. 致力于提升:

    a)将增强源解压缩到

    /home/Alexey_2/Soft/boost_1_50_0   - this is BOOST_ROOT
    
    b)制作bjam。先进入目录:

    /home/Alexey_2/Soft/boost_1_50_0/tools/build/v2 
    

    接下来,调用bootstrap.sh,最终在此目录中创建b2和bjam可执行文件。在.bash_profile中将此目录添加到PATH,因此我们可以调用bjam。在.bash_profile的每个未来编辑之后,我重新启动cygwin进行更改 实现效果

    c)仍然在

    /home/Alexey_2/Soft/boost_1_50_0/tools/build/v2 
    

    目录 - 编辑user-config.jam,让bjam知道要使用哪个python。所以在我的情况下我只添加一行:

    using python : 2.6 : /home/Alexey_2/Soft/python2.6/bin/python2.6 : /home/Alexey_2/Soft/python2.6/include/python2.6 : /home/Alexey_2/Soft/python2.6/bin ;
    

    在lib-path(最后一个条目)中我把/home/Alexey_2/Soft/python2.6/bin包含了libpython2.6.dll

    d)好的。现在我们可以制作boost-python库了。转到BOOST_ROOT目录并执行命令

    bjam --with-python toolset=gcc link=shared
    

    这会创建必要的库(cygboost_python.dll和libboost_python.dll.a)并将它们放入

    /home/Alexey_2/Soft/boost_1_50_0/stage/lib 
    
  3. 构建python扩展。

    这是我的简单测试程序(实际上是示例代码的一部分)

    // file xyz.cpp
    #include <boost/python.hpp>
    #include <iostream>
    #include <iomanip>
    using namespace std;
    using namespace boost::python;
    
    class Hello
    {
      std::string _msg;
    public:
      Hello(std::string msg){_msg = msg;}
      void set(std::string msg) { this->_msg = msg; }
      std::string greet() { return _msg; }
    };
    
    BOOST_PYTHON_MODULE(xyz)
    {
      class_<Hello>("Hello", init<std::string>())
        .def("greet", &Hello::greet)
        .def("set", &Hello::set)
      ;  
    }
    

    这是Makefile:

    FLAGS= -fno-for-scope -O2 -fPIC
    CPP=c++
    
    # BOOST v 1.50.0
    p1=/home/Alexey_2/Soft/boost_1_50_0
    pl1=/home/Alexey_2/Soft/boost_1_50_0/stage/lib
    
    # PYTHON v 2.6
    p2=/home/Alexey_2/Soft/python2.6/include/python2.6
    pl2=/home/Alexey_2/Soft/python2.6/bin
    
    
    I=-I${p1} -I${p2}
    L=-L${pl1} -lboost_python -L${pl2} -lpython2.6
    
    all: xyz.so
    
    xyz.o: xyz.cpp 
        ${CPP} ${FLAGS} ${I} -c xyz.cpp
    
    xyz.so: xyz.o 
        ${CPP} ${FLAGS} -shared -o xyz.so xyz.o ${L}
    
    clean:
        rm *.o
        rm xyz.so
    
  4. 一些意见:

    1. 设置了库路径,并针对正确的库进行编译(参见更多:compile some code with boost.python by mingw in win7-64bit)。

    2. 上面的链接解释了为什么配置user-config.jam很重要 - 我是在步骤1c中完成的。

    3. 为了避免可能出现的问题(如上面的链接以及Cannot link boost.python with mingw中提到的(虽然对于mingw))使用boost.python库静态地使用

      link=shared 
      

      作为bjam的参数(见1d)

    4. 正如这里所解释的:MinGW + Boost: undefined reference to `WSAStartup@8'应该在目标文件之后列出想要编译某些东西的库,这就是为什么我们有:

      ${CPP} ${FLAGS} -shared -o xyz.so xyz.o ${L}
      

      而不是

      ${CPP} ${FLAGS} -shared ${L} -o xyz.so xyz.o
      
    5. 这是我的.bash_profile(最终)的一部分,我定义了环境变量:

      # Python
      export PATH=/home/Alexey_2/Soft/python2.6/bin:$PATH
      export PYTHONPATH=/home/Alexey_2/Soft/python2.6
      export LD_LIBRARY_PATH=/home/Alexey_2/Soft/python2.6/lib:/home/Alexey_2/Soft/python2.6/bin:$LD_LIBRARY_PATH
      
      # Boost
      export BOOST_ROOT=/home/Alexey_2/Soft/boost_1_50_0
      export LD_LIBRARY_PATH=/home/Alexey_2/Soft/boost_1_50_0/stage/lib:$LD_LIBRARY_PATH
      export PATH=/home/Alexey_2/Soft/boost_1_50_0/stage/lib:$PATH
      
      # bjam
      export PATH=/home/Alexey_2/Soft/boost_1_50_0/tools/build/v2:$PATH
      

      最后,问题。通过上面的设置,我能够成功构建python扩展对象文件:

      xyz.so
      

      然而,当我用简单的脚本测试它时:

      # this is a test.py script
      import xyz
      

      ImportError来了:

      $ python test.py
      Traceback (most recent call last):
        File "test.py", line 1, in <module>
          import xyz
      ImportError: No module named xyz
      

      已经注意到出现这种问题的原因可能是使用了错误的python可执行文件,但事实并非如此:

      $ which python
      /home/Alexey_2/Soft/python2.6/bin/python
      

      预期的结果(注意python是从该目录到python2.6的符号链接)

      这是我有一条更有用的信息:

      $ ldd xyz.so
          ntdll.dll => /cygdrive/c/Windows/SysWOW64/ntdll.dll (0x76fa0000)
          kernel32.dll => /cygdrive/c/Windows/syswow64/kernel32.dll (0x76430000)
          KERNELBASE.dll => /cygdrive/c/Windows/syswow64/KERNELBASE.dll (0x748e0000)
          cygboost_python.dll => /home/Alexey_2/Soft/boost_1_50_0/stage/lib/cygboost_python.dll (0x70cc0000)
          cygwin1.dll => /usr/bin/cygwin1.dll (0x61000000)
          cyggcc_s-1.dll => /usr/bin/cyggcc_s-1.dll (0x6ff90000)
          cygstdc++-6.dll => /usr/bin/cygstdc++-6.dll (0x6fa90000)
          libpython2.6.dll => /home/Alexey_2/Soft/python2.6/bin/libpython2.6.dll (0x67ec0000)
          ??? => ??? (0x410000)
      

      我想知道

      ??? => ??? (0x410000)
      

      可能意味着。可能是我所缺少的。但那是什么? 任何意见和建议(不仅仅是关于最后一个问题)都非常感谢。

      修改

      建议(twsansbury)使用-vv选项检查python模块搜索路径:

      python -vv test.py
      

      给出

      # trying /home/Alexey_2/Programming/test/xyz.dll   
      # trying /home/Alexey_2/Programming/test/xyzmodule.dll
      # trying /home/Alexey_2/Programming/test/xyz.py
      # trying /home/Alexey_2/Programming/test/xyz.pyc
      ...
      # trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.dll
      # trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyzmodule.dll
      # trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.py
      # trying /home/Alexey_2/Soft/python2.6/lib/python2.6/site-packages/xyz.pyc
      Traceback (most recent call last):
        File "test.py", line 1, in <module>
          import xyz
      ImportError: No module named xyz
      

      第一个目录是我从哪里调用python来运行脚本。主要结论是cygwin python正在寻找具有标准Windows扩展的模块(库) - dll(以及其他3种类型),而不是我最初期望的cygwin的Linux仿真风格的.so。因此,将上一个Makefile中的以下行更改为:

      all: xyz.dll
      
      xyz.o: xyz.cpp 
              ${CPP} ${FLAGS} ${I} -c xyz.cpp
      
      xyz.dll: xyz.o 
          ${CPP} ${FLAGS} -shared -o xyz.dll xyz.o ${L}
      
      clean:
          rm *.o
          rm xyz.dll
      

      生成xyz.dll,可以成功加载:

      python -vv test.py
      

      现在给出:

      Python 2.6.8 (unknown, Mar 21 2013, 17:13:04)
      [GCC 4.5.3] on cygwin
      Type "help", "copyright", "credits" or "license" for more information.
      # trying /home/Alexey_2/Programming/test/xyz.dll
      dlopen("/home/Alexey_2/Programming/test/xyz.dll", 2);
      import xyz # dynamically loaded from /home/Alexey_2/Programming/test/xyz.dll
      

1 个答案:

答案 0 :(得分:1)

ImportError通常不是Boost.Python相关的。相反,它通常表示xyz中没有xyz

要调试它,请考虑使用Python Module Search Path参数运行python。这将导致python为尝试导入.pyd时检查的每个文件打印一条消息。无论如何,构建过程看起来都是正确的,因此问题可能是文件扩展名或模块不在搜索路径中的结果。

我不确定Cygwin将如何与Python的运行时加载行为进行交互。但是:

  • -vv上,python扩展名的扩展名为.so
  • 在Linux上,python扩展名的扩展名为xyz

此外,请验证test.py库是否位于以下某个位置:

  • 包含ldd脚本(或当前目录)的目录。
  • Windows环境变量中列出的目录。
  • 依赖于安装的默认目录。

如果ImportError中显示的未解析的库导致错误,它通常会显示为{{1}},并带有指示未定义引用的消息。