获取Gitlab的持续集成来编译用C编写的Python扩展

时间：2018-06-06 13:29:12

标签： python gitlab setuptools gitlab-ci python-unittest

上下文

我有一个Python项目，我用它来包装一些C / C ++代码（使用优秀的PyBind库）。我有一组C和Python单元测试，我已经配置了Gitlab的CI来在每次推送时运行它们。 C测试使用一个名为minunit的极简单元测试框架，我使用Python的unittest套件。

在运行C测试之前，编译所有C代码然后进行测试。我想在运行Python测试之前编译Python的C / C ++包装器，但是很难做到。

用几句话提问

在运行单元测试之前，是否有标准/好的方法让Gitlab-CI使用setuptools构建Python扩展？

更多单词的问题/我尝试的内容的描述

要在本地编译C / C ++包装器，我使用setuptools和setup.py文件，包括build_ext命令。 我使用python setup.py build_ext --inplace在本地编译所有内容（最后一个arg --inplace只会将编译后的文件复制到当前目录中）。 据我所知，这是非常标准的。

我在Gitlab上尝试做的是使用Python脚本（下面的代码），它将使用os.system命令运行一些命令（这​​似乎是不好的做法......）。 第一个命令是运行脚本构建并运行所有C测试。这有效，但我很乐意接受建议（我应该配置Gitlab CI来单独运行C测试吗？）。

现在，当我尝试使用os.system("cd python/ \npython setup.py build_ext --inplace")构建C / C ++包装器时出现问题。这会生成错误

File "setup.py", line 1, in <module>
        from setuptools import setup, Extension
    ImportError: No module named setuptools

所以我尝试修改我的gitlab的CI配置文件来安装python-dev。我的.gitlab-ci.yml看起来像

test:
  script:
  - apt-get install -y python-dev
  - python run_tests.py

但是，不是gitlab服务器上的sudo，我收到以下错误E: Could not open lock file /var/lib/dpkg/lock - open (13: Permission denied)。 任何人都知道解决这个问题的方法，或者更好的方法来解决这个问题？

任何帮助都会受到欢迎！

run_tests.py文件

    import unittest
    import os
    from shutil import copyfile
    import glob


    class AllTests(unittest.TestCase):
        def test_all(self):
            # this automatically loads all tests in current dir
            testsuite = unittest.TestLoader().discover('tests/Python_tests')
            # run tests
            result = unittest.TextTestRunner(verbosity=2).run(testsuite)
            # send/print results
            self.assertEqual(result.failures, [], 'Failure')


    if __name__ == "__main__":
        # run C tests
        print(' ------------------------------------------------------ C TESTS')
        os.system("cd tests/C_tests/ \nbash run_all.sh")

        # now python tests
        print(' ------------------------------------------------- PYTHON TESTS')
        # first build and copy shared library compiled from C++ in the python test directory
        # build lib 
        os.system("cd python/ \npython setup.py build_ext --inplace")
        # copy lib it to right place
        dest_dir = 'tests/Python_tests/'
        for file in glob.glob(r'python/*.so'):
            print('Copying file to test dir : ', file)
            copyfile(file, dest_dir+file.replace('python/', ''))
        # run Python tests
        unittest.main(verbosity=0)

1 个答案:

答案 0 :(得分：3)

我的建议是将整个测试运行逻辑移到安装脚本中。

使用test命令

首先，setuptools发出test命令，因此您可以通过python setup.py test运行测试。更好的是，test调用build_ext命令并放置构建的扩展，以便在测试中可以访问它们，因此您无需明确调用python setup.py build_ext：

$ python setup.py test
running test
running egg_info
creating so.egg-info
writing so.egg-info/PKG-INFO
writing dependency_links to so.egg-info/dependency_links.txt
writing top-level names to so.egg-info/top_level.txt
writing manifest file 'so.egg-info/SOURCES.txt'
reading manifest file 'so.egg-info/SOURCES.txt'
writing manifest file 'so.egg-info/SOURCES.txt'
running build_ext
building 'wrap_fib' extension
creating build
creating build/temp.linux-aarch64-3.6
aarch64-unknown-linux-gnu-gcc -pthread -fPIC -I/data/gentoo64/usr/include/python3.6m -c wrap_fib.c -o build/temp.linux-aarch64-3.6/wrap_fib.o
aarch64-unknown-linux-gnu-gcc -pthread -fPIC -I/data/gentoo64/usr/include/python3.6m -c cfib.c -o build/temp.linux-aarch64-3.6/cfib.o
creating build/lib.linux-aarch64-3.6
aarch64-unknown-linux-gnu-gcc -pthread -shared -Wl,-O1 -Wl,--as-needed -L. build/temp.linux-aarch64-3.6/wrap_fib.o build/temp.linux-aarch64-3.6/cfib.o -L/data/gentoo64/usr/lib64 -lpython3.6m -o build/lib.linux-aarch64-3.6/wrap_fib.cpython-36m-aarch64-linux-gnu.so
copying build/lib.linux-aarch64-3.6/wrap_fib.cpython-36m-aarch64-linux-gnu.so ->
test_fib_0 (test_fib.FibonacciTests) ... ok
test_fib_1 (test_fib.FibonacciTests) ... ok
test_fib_10 (test_fib.FibonacciTests) ... ok

----------------------------------------------------------------------
Ran 3 tests in 0.002s

OK

（我使用Cython Book examples repository中的代码来玩，但输出应该与PyBind产生的非常类似。）

使用额外关键字

可能派上用场的另一个功能是额外的关键字setuptools添加：test_suite，tests_require，test_loader（docs）。以下是run_tests.py中嵌入自定义测试套件的示例：

# setup.py

import unittest
from Cython.Build import cythonize
from setuptools import setup, Extension

exts = cythonize([Extension("wrap_fib", sources=["cfib.c", "wrap_fib.pyx"])])


def pysuite():
    return unittest.TestLoader().discover('tests/python_tests')


if __name__ == '__main__':
    setup(
        name='so',
        version='0.1',
        ext_modules=exts,
        test_suite='setup.pysuite'
    )

扩展test命令

最后一项要求是运行C测试。我们可以通过覆盖test命令并从那里调用一些自定义代码来嵌入它们。这样做的好处是distutils提供了一个带有许多有用功能的命令API，比如复制文件或执行外部命令：

# setup.py

import os
import unittest
from Cython.Build import cythonize
from setuptools import setup, Extension
from setuptools.command.test import test as test_orig


exts = cythonize([Extension("wrap_fib", sources=["cfib.c", "wrap_fib.pyx"])])


class test(test_orig):

    def run(self):
        # run python tests
        super().run()
        # run c tests
        self.announce('Running C tests ...')
        pwd = os.getcwd()
        os.chdir('tests/C_tests')
        self.spawn(['bash', 'run_all.sh'])
        os.chdir(pwd)

def pysuite():
    return unittest.TestLoader().discover('tests/python_tests')


if __name__ == '__main__':
    setup(
        name='so',
        version='0.1',
        ext_modules=exts,
        test_suite='setup.pysuite',
        cmdclass={'test': test}
    )

我扩展了原始的test命令，在python单元测试完成后运行一些额外的东西（注意通过self.spawn调用外部命令）。剩下的就是通过在设置函数中传递test来使用自定义命令替换默认的cmdclass命令。

现在您已在设置脚本中收集了所有内容，python setup.py test将完成所有脏工作。

  

但是，在gitlab的服务器上没有sudo，我收到以下错误

我没有使用Gitlab CI的经验，但我无法想象在构建服务器上安装软件包是不可能的。也许这个问题会有所帮助：How to use sudo in build script for gitlab ci?

如果确实没有其他选项，您可以bootstrap a local copy of setuptools with ez_setup.py。但请注意，虽然此方法仍有效，但it was deprecated recently。

此外，如果您碰巧使用最新版本的Python（3.4及更高版本），那么您应该将pip与Python发行版捆绑在一起，因此应该可以在没有root权限的情况下安装setuptools与

$ python -m pip install --user setuptools
相关问题
最新问题