诗歌+ Cython +测试(Nosetests)

时间:2020-03-03 07:13:19

标签: python python-3.x cython nose python-poetry

我使用Poetry来构建带有cython扩展名的软件包。现在,我想为此编写测试(最好使用鼻子测试)。问题是我需要预编译二进制文件,通常使用setup.py build_clib build_ext --inplace

对我来说,最好的解决方案是运行测试,而无需在目录中创建额外的.py.sh文件,因为我已经拥有build.py。在虚拟环境中安装该软件包后,可以运行测试,就像在readthedocs服务器上实现的那样。

我也熟悉taskipy,所以我的pyproject.toml中的一些bash命令也可以。欢迎使用与pyproject.toml兼容的任何其他软件包。

在创建.whl分发文件时,它会进行声囊化和可编译,因此可能存在诗意。

对此将有任何帮助。

UPD Tox看起来像是合适的工具,但是在目录中却看不到pyproject.toml。非常欢迎在软件包或教程中使用tox和cython链接到回购协议。

2 个答案:

答案 0 :(得分:1)

如果扩展是发行版的一部分,则除了运行poetry install之外,您无需执行其他任何操作-poetry将在您的项目的可编辑安装中就地构建扩展。

在其他情况下,您可以将调用distutils命令嵌入到测试中,作为套件设置/拆卸的一部分。我对nose不太熟悉,但这是一个简单的示例。假设我有一个fib.pyx(这是Cython书中的一个示例):

def fib(long n):
    '''Returns the nth Fibonacci number.'''
    cdef long a=0, b=1, i
    for i in range(n):
        a, b = a + b, a
    return a

构建test_fib.py库并在测试成功后将其删除的fib模块:

from distutils.dist import Distribution
from distutils.core import Extension
from pathlib import Path
from Cython.Build import cythonize


fib_source = Path('fib.pyx')

# distutils magic. This is essentially the same as calling
# python setup.py build_ext --inplace
dist = Distribution(attrs={'ext_modules': cythonize(fib_source.name)})
build_ext_cmd = dist.get_command_obj('build_ext')
build_ext_cmd.ensure_finalized()
build_ext_cmd.inplace = 1
build_ext_cmd.run()

fib_obj = Path(build_ext_cmd.get_ext_fullpath(fib_source.stem))

# the lib was built, so the import will succeed now
from fib import fib


def teardown_module():
    # remove built library
    fib_obj.unlink()

    # if you also want to clean the build dir:
    from distutils.dir_util import remove_tree
    remove_tree(build_ext_cmd.build_lib)
    remove_tree(build_ext_cmd.build_temp)


# sample tests

def test_zero():
    assert fib(0) == 0


def test_ten():
    assert fib(10) == 55

您可能正在自定义setup_kwargs中自定义build.py。要重用此代码,请修改dist初始化,例如:

from build import build

setup_kwargs = {}
build(setup_kwargs)
dist = Distribution(attrs=setup_kwargs)
...

pytest示例

使用pytest可以更方便地组织事物。创建名为conftest.py的文件,并将安装/拆卸代码提取到钩子中:

# conftest.py

from distutils.core import Extension
from distutils.dist import Distribution
from distutils.dir_util import remove_tree
from pathlib import Path
from Cython.Build import cythonize


def pytest_sessionstart(session):
    fib_source = Path('fib.pyx')
    dist = Distribution(attrs={'ext_modules': cythonize(fib_source.name)})
    build_ext_cmd = dist.get_command_obj('build_ext')
    build_ext_cmd.ensure_finalized()
    build_ext_cmd.inplace = 1
    build_ext_cmd.run()
    session.fib_obj = Path(build_ext_cmd.get_ext_fullpath(fib_source.stem))


def pytest_sessionfinish(session):
    session.fib_obj.unlink()

现在,测试变得更加整洁,并且在整个测试会话中只需运行一次设置代码。再来看上面的测试示例:

from fib import fib


def test_zero():
    assert fib(0) == 0


def test_ten():
    assert fib(10) == 55

答案 1 :(得分:0)

以下是对可接受答案的略微改动(pytest示例),当将src代码和测试代码分隔在不同目录中时,该方法现在也可以使用。

例如

.
|_ src/
    |_ your_package/
        |_ some_cython_module.pyx
|_ test/
    |_ conftest.py
    |_ some_cython_module_test.py
# conftest.py

from distutils.dist import Distribution
from pathlib import Path

from Cython.Build import cythonize


def pytest_sessionstart(session):
    difflib_source = Path('src/your_package/some_cython_module.pyx')
    dist = Distribution(attrs={'ext_modules': cythonize(str(difflib_source))})
    build_ext_cmd = dist.get_command_obj('build_ext')
    build_ext_cmd.ensure_finalized()
    build_ext_cmd.inplace = 1
    build_ext_cmd.run()
    session.fib_obj = Path(build_ext_cmd.get_ext_fullpath(
        str(difflib_source.parents[0]) + '/' + difflib_source.stem
    ))


def pytest_sessionfinish(session):
    session.fib_obj.unlink()