如何在生成测试时配置pytest以生成有用的名称?

时间:2015-07-14 14:49:15

标签: python selenium automated-tests metaprogramming pytest

我正在使用py.test来执行一系列selenium测试。我本质上是在我的conftest.py中运行一个收集器来生成这样的测试(我从pytest文档中偷了这个):

def pytest_generate_tests(metafunc):
    funcarglist = metafunc.cls.cases[metafunc.function.__name__]
    argnames = list(funcarglist[0])
    metafunc.parametrize(argnames, [[funcargs[i] for i in argnames]
                                for funcargs in funcarglist])

我的测试用例放在如下所示的对象中:

class TestObject(object):

def __init__(
        self,
        parameter_1,

):
    self.parameter_1 = parameter_1
    self.parameter_2 = parameter_2

我将它们实例化为:

test_cases_values = {
    "friendly_case_name_1": TestObject(
        "parameter_1_value",
        "parameter_2_value"
    ),
    "friendly_case_name_2": TestObject(
        "parameter_1_value",
        "parameter_2_value"
    ),
}

我的浏览器附加到网格服务器,我按这样列出它们:

BROWSERS = [
    "('browser_1', SERVER_URL)",
    "('browser_2', SERVER_URL)"
]

我将目标环境存储在配置文件中,该配置文件是对象的实例化,如下所示:

class Environment(object):

    def __init__(self, url=URL, port=PORT):
        self.url = url
        self.port = port

    def __name__(self):
        return self.url + ":" + self.port

ENVIRONMENT = Environment()

然后我有一个测试类,它创建一个这样的测试用例列表 - 测试对象参数实际上是允许自生成代码的字符串。当我将它们作为填充内容传递给更广泛的执行声明时,我过于简单化了:

class TestClass(object):

    cases = {"test_function": []}
    for i in test_cases.values():
        for j in BROWSERS:
            cases["test_function"].append(
                dict(
                    browser=j,
                    environment=ENVIRONMENT
                    test_object=i
                )
            )

    @pytest.mark.run()
    def test_function(
        self,
        browser,
        environment,
        test_object
    ):
        exec(test_object.parameter_1)
        exec(test_object.parameter_2)
        assert my_assertion

当收集器运行时,它看起来像这样:     

collected # items
    <Module 'tests.py'>
      <Class 'TestClass'>
        <Instance '()'>
          <Function "test_function[environment0-test_object0-('browser_1', GRID_SERVER)]">
          <Function "test_function[environment1-test_object1-('browser_2', GRID_SERVER)]">
          <Function "test_function[environment2-test_object2-('browser_1', GRID_SERVER)]">
          <Function "test_function[environment3-test_object3-('browser_2', GRID_SERVER)]">

我想让收集器以这样的方式工作,以便我获得有关每个项目的有用信息 - 我已经在各个地方设置了__str __,__repr__和__name__方法,但没有得到我期望的结果。我希望能够将其转化为报告 - 在生产过程中会生成200多个测试,我必须追踪目前的堆栈跟踪,以确切了解每个故障的测试结果。

我不确定我在哪里犯错误,我应该修改pytest_generate_tests的实现,还是我创建TestClass的方式,或者以不同的方式设置案例?理想情况下,我想要一些可以通过ORM映射回来的东西来包含测试元数据。

1 个答案:

答案 0 :(得分:2)

好吧,我明白了。事实证明,metafunc.parametrize函数接受&#34; ids&#34;作为参数。我所要做的就是定义我想要命名的对象的__repr__,并扩展列表理解,这样我就可以从同一个循环返回两个东西。

def pytest_generate_tests(metafunc):
    funcarglist = metafunc.cls.cases[metafunc.function.__name__]
    argnames = list(funcarglist[0])
    argvalues = []
    ids = []
    for i in funcarglist:
        inner_argvalues_list = []
        inner_ids_list = []
        for j in argnames:
            inner_argvalues_list.append(i[j])
            if type(i[j]) != str:
                inner_ids_list.append(i[j].__repr__())
            else:
                inner_ids_list.append(i[j])
        argvalues.append(inner_argvalues_list)
        ids.append(inner_ids_list)
    metafunc.parametrize(argnames, argvalues, ids=ids)