如何在单个Python单元测试中处理多个断言?

时间:2012-03-22 19:40:29

标签: python unit-testing testing unittest2

由于具有多个输出流,因此在执行具有多个独立故障模式的单个测试时会出现此问题。我还想展示在所有这些模式上断言数据的结果,无论哪个模式先失败。 Python的unittest除了使用Suite代表单个测试之外没有这样的功能,这是不可接受的,因为我的单个测试总是需要作为一个单元运行;它只是没有捕捉到事物的本质。

一个实际的例子是测试一个也生成日志的对象。您想断言它的方法的输出,但您也想要断言日志输出。这两个输出需要不同的测试,这些测试可以巧妙地表达为两个股票断言表达式,但您也不希望一个失败,以隐藏另一个在测试中的可能失败。所以你真的需要同时测试它们。

我拼凑了这个有用的小部件来解决我的问题。

def logFailures(fnList):
    failurelog = []
    for fn in fnList:
        try:
            fn()
        except AssertionError as e:
            failurelog.append("\nFailure %d: %s" % (len(failurelog)+1,str(e)))

    if len(failurelog) != 0:
        raise AssertionError(
            "%d failures within test.\n %s" % (len(failurelog),"\n".join(failurelog))
        )

使用方法如下:

def test__myTest():
    # do some work here
    logFailures([
        lambda: assert_(False,"This test failed."),
        lambda: assert_(False,"This test also failed."),
    ])

结果是logFailures()将引发一个异常,该异常包含列表中方法中引发的所有断言的日志。

问题:虽然这样做了,但我想知道是否有更好的方法来处理这个问题,除了必须要创建嵌套的测试套件等等。 ?

3 个答案:

答案 0 :(得分:14)

我不同意人们应该为每个断言编写测试方法的主流观点。在某些情况下,您希望在一种测试方法中检查多个内容。以下是我如何做到的答案:

# Works with unittest in Python 2.7
class ExpectingTestCase(unittest.TestCase):
    def run(self, result=None):
        self._result = result
        self._num_expectations = 0
        super(ExpectingTestCase, self).run(result)

    def _fail(self, failure):
        try:
            raise failure
        except failure.__class__:
            self._result.addFailure(self, sys.exc_info())

    def expect_true(self, a, msg):
        if not a:
            self._fail(self.failureException(msg))
        self._num_expectations += 1

    def expect_equal(self, a, b, msg=''):
        if a != b:
            msg = '({}) Expected {} to equal {}. '.format(self._num_expectations, a, b) + msg
            self._fail(self.failureException(msg))
        self._num_expectations += 1

在某些情况下,我认为它有用而且没有风险:

1)当您想要测试不同数据集的代码时。这里我们有一个add()函数,我想用一些示例输入来测试它。为3个数据集编写3个测试方法意味着重复自己哪个是坏的。特别是如果电话更精细的话。:

class MyTest(ExpectingTestCase):
    def test_multiple_inputs(self):
        for a, b, expect in ([1,1,2], [0,0,0], [2,2,4]):
            self.expect_equal(expect, add(a,b), 'inputs: {} {}'.format(a,b))

2)当您想要检查功能的多个输出时。我想检查每个输出,但我不希望第一次失败掩盖其他两个。

class MyTest(ExpectingTestCase):
    def test_things_with_no_side_effects(self):
        a, b, c = myfunc()
        self.expect_equal('first value', a)
        self.expect_equal('second value', b)
        self.expect_equal('third value', c)

3)以大量的设置成本测试东西。测试必须快速运行或人们停止使用它们。某些测试需要一个db或网络连接,这需要一秒钟才能真正减慢测试速度。如果您正在测试数据库连接本身,那么您可能需要采用速度命中。但是如果你正在测试一些不相关的东西,我们想要对一整套检查进行一次慢速设置。

答案 1 :(得分:12)

这对我来说过度工程了。之一:

  • 在一个测试用例中使用两个断言。如果第一个断言失败,那么你将无法知道第二个断言是否通过。但无论如何你要修复代码,所以修复它,然后你会发现第二个断言是否通过了。

  • 写两个测试,一个检查每个条件。如果您担心测试中的重复代码,请将大部分代码放在您从测试中调用的辅助方法中。

答案 2 :(得分:12)

使用子测试,第一次失败后执行不会停止 https://docs.python.org/3/library/unittest.html#subtests

以下是两个失败断言的示例:

class TestMultipleAsserts(unittest.TestCase):

    def test_multipleasserts(self):
        with self.subTest():
            self.assertEqual(1, 0)
        with self.subTest():
            self.assertEqual(2, 0)

输出将是:

======================================================================
FAIL: test_multipleasserts (__main__.TestMultipleAsserts) (<subtest>)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./test.py", line 9, in test_multipleasserts
    self.assertEqual(1, 0)
AssertionError: 1 != 0

======================================================================
FAIL: test_multipleasserts (__main__.TestMultipleAsserts) (<subtest>)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "./test.py", line 11, in test_multipleasserts
    self.assertEqual(2, 0)
AssertionError: 2 != 0

----------------------------------------------------------------------
Ran 1 test in 0.000s

FAILED (failures=2)

您可以轻松包装子测试,如下所示

class MyTestCase(unittest.TestCase):
    def expectEqual(self, first, second, msg=None):
        with self.subTest():
            self.assertEqual(first, second, msg)

class TestMA(MyTestCase):
    def test_ma(self):
        self.expectEqual(3, 0)
        self.expectEqual(4, 0)