在pytest中使用参数的笛卡尔积进行参数化测试

Question

只是想知道，有没有（更多）优雅的笛卡尔积参数化方法？这是我到目前为止所发现的：

numbers    = [1,2,3,4,5]
vowels     = ['a','e','i','o','u']
consonants = ['x','y','z']

cartesian = [elem for elem in itertools.product(*[numbers,vowels,consonants])]

@pytest.fixture(params=cartesian)
def someparams(request):
  return request.param

def test_something(someparams):
  pass

至少我想在夹具功能中封装数字，元音，辅音和笛卡儿。

Answer 1

您可以应用多个parametrize参数，在这种情况下，它们将生成所有参数的乘积：

import pytest

numbers = [1,2,3,4,5]
vowels = ['a','e','i','o','u']
consonants = ['x','y','z']


@pytest.mark.parametrize('number', numbers)
@pytest.mark.parametrize('vowel', vowels)
@pytest.mark.parametrize('consonant', consonants)
def test(number, vowel, consonant):
    pass

Answer 2

我可以想到两种方法来做到这一点。一个使用参数化夹具，一个参数化测试功能。这取决于你找到哪一个更优雅。

以下是参数化的测试函数：

import itertools
import pytest

numbers = [1,2,3,4,5]
vowels = ['a','e','i','o','u']
consonants = ['x','y','z']


@pytest.mark.parametrize('number,vowel,consonant',
    itertools.product(numbers, vowels, consonants)
)
def test(number, vowel, consonant):
    pass

值得注意的是，参数化装饰器的第二个参数可以是可迭代的，而不仅仅是一个列表。

以下是通过参数化每个夹具来实现的方法：

import pytest

numbers = [1,2,3,4,5]
vowels = ['a','e','i','o','u']
consonants = ['x','y','z']


@pytest.fixture(params=numbers)
def number(request):
    return request.param

@pytest.fixture(params=vowels)
def vowel(request):
    return request.param

@pytest.fixture(params=consonants)
def consonant(request):
    return request.param


def test(number, vowel, consonant):
    pass

你的直觉是正确的。通过参数化多个灯具中的每一个，pytest负责创建所有出现的排列。

测试输出完全相同。这是一个示例（我使用-vv选项运行py.test）：

test_bar.py:22: test[1-a-x] PASSED
test_bar.py:22: test[1-a-y] PASSED
test_bar.py:22: test[1-a-z] PASSED
test_bar.py:22: test[1-e-x] PASSED
test_bar.py:22: test[1-e-y] PASSED
test_bar.py:22: test[1-e-z] PASSED
test_bar.py:22: test[1-i-x] PASSED

Answer 3

我认为，除了一个优雅的解决方案之外，您还应该考虑每个选项所花费的时间以及必须维护的代码量。

可能的解决方案

1. 将parametrize与itertools一起使用一次（由Frank T提供）
2. 使用3个灯具（由Frank T提供）
3. 使用parametrize 3次（由Bruno Oliveira提供）
4. 使用1个夹具和itertools（问题中提供）

解决方案1 ​​

@pytest.mark.parametrize('number, vowel, consonant',
                         itertools.product(numbers, vowels, consonants))
def test(number, vowel, consonant):
    pass

解决方案2

@pytest.fixture(params=numbers)
def number(request): return request.param

@pytest.fixture(params=vowels)
def vowel(request): return request.param

@pytest.fixture(params=consonants)
def consonant(request): return request.param


def test(number, vowel, consonant):
    pass

解决方案3

@pytest.mark.parametrize('number', numbers)
@pytest.mark.parametrize('vowel', vowels)
@pytest.mark.parametrize('consonant', consonants)
def test(number, vowel, consonant):
    pass

解决方案4

@pytest.fixture(params=cartesian)
def someparams(request):
  return request.param

def test_something(someparams):
  pass

谈到优雅，我认为解决方案3 是最好的选择，因为它维护的代码较少，并且不需要导入itertools。之后，解决方案1 ​​是最佳选择，因为您无需将夹具写为解决方案4 和解决方案2 。 解决方案4 可能比解决方案2 更好，因为它需要更少的代码来维护。

关于性能，我使用numbers = list(range(100))运行每个解决方案，并且得到以下结果：

|  Solution  |  Time    | 
| Solution 1 |  3.91s   |
| Solution 2 |  3.59s   |
| Solution 3 |  3.54s   |
| Solution 4 |  3.09s   |