由于具有多个输出流,因此在执行具有多个独立故障模式的单个测试时会出现此问题。我还想展示在所有这些模式上断言数据的结果,无论哪个模式先失败。 Python的unittest除了使用Suite代表单个测试之外没有这样的功能,这是不可接受的,因为我的单个测试总是需要作为一个单元运行;它只是没有捕捉到事物的本质。
一个实际的例子是测试一个也生成日志的对象。您想断言它的方法的输出,但您也想要断言日志输出。这两个输出需要不同的测试,这些测试可以巧妙地表达为两个股票断言表达式,但您也不希望一个失败,以隐藏另一个在测试中的可能失败。所以你真的需要同时测试它们。
我拼凑了这个有用的小部件来解决我的问题。
def logFailures(fnList):
failurelog = []
for fn in fnList:
try:
fn()
except AssertionError as e:
failurelog.append("\nFailure %d: %s" % (len(failurelog)+1,str(e)))
if len(failurelog) != 0:
raise AssertionError(
"%d failures within test.\n %s" % (len(failurelog),"\n".join(failurelog))
)
使用方法如下:
def test__myTest():
# do some work here
logFailures([
lambda: assert_(False,"This test failed."),
lambda: assert_(False,"This test also failed."),
])
结果是logFailures()将引发一个异常,该异常包含列表中方法中引发的所有断言的日志。
问题:虽然这样做了,但我想知道是否有更好的方法来处理这个问题,除了必须要创建嵌套的测试套件等等。 ?
答案 0 :(得分:14)
我不同意人们应该为每个断言编写测试方法的主流观点。在某些情况下,您希望在一种测试方法中检查多个内容。以下是我如何做到的答案:
# Works with unittest in Python 2.7
class ExpectingTestCase(unittest.TestCase):
def run(self, result=None):
self._result = result
self._num_expectations = 0
super(ExpectingTestCase, self).run(result)
def _fail(self, failure):
try:
raise failure
except failure.__class__:
self._result.addFailure(self, sys.exc_info())
def expect_true(self, a, msg):
if not a:
self._fail(self.failureException(msg))
self._num_expectations += 1
def expect_equal(self, a, b, msg=''):
if a != b:
msg = '({}) Expected {} to equal {}. '.format(self._num_expectations, a, b) + msg
self._fail(self.failureException(msg))
self._num_expectations += 1
在某些情况下,我认为它有用而且没有风险:
1)当您想要测试不同数据集的代码时。这里我们有一个add()函数,我想用一些示例输入来测试它。为3个数据集编写3个测试方法意味着重复自己哪个是坏的。特别是如果电话更精细的话。:
class MyTest(ExpectingTestCase):
def test_multiple_inputs(self):
for a, b, expect in ([1,1,2], [0,0,0], [2,2,4]):
self.expect_equal(expect, add(a,b), 'inputs: {} {}'.format(a,b))
2)当您想要检查功能的多个输出时。我想检查每个输出,但我不希望第一次失败掩盖其他两个。
class MyTest(ExpectingTestCase):
def test_things_with_no_side_effects(self):
a, b, c = myfunc()
self.expect_equal('first value', a)
self.expect_equal('second value', b)
self.expect_equal('third value', c)
3)以大量的设置成本测试东西。测试必须快速运行或人们停止使用它们。某些测试需要一个db或网络连接,这需要一秒钟才能真正减慢测试速度。如果您正在测试数据库连接本身,那么您可能需要采用速度命中。但是如果你正在测试一些不相关的东西,我们想要对一整套检查进行一次慢速设置。
答案 1 :(得分:12)
这对我来说过度工程了。之一:
在一个测试用例中使用两个断言。如果第一个断言失败,那么你将无法知道第二个断言是否通过。但无论如何你要修复代码,所以修复它,然后你会发现第二个断言是否通过了。
写两个测试,一个检查每个条件。如果您担心测试中的重复代码,请将大部分代码放在您从测试中调用的辅助方法中。
答案 2 :(得分:12)
使用子测试,第一次失败后执行不会停止 https://docs.python.org/3/library/unittest.html#subtests
以下是两个失败断言的示例:
class TestMultipleAsserts(unittest.TestCase):
def test_multipleasserts(self):
with self.subTest():
self.assertEqual(1, 0)
with self.subTest():
self.assertEqual(2, 0)
输出将是:
======================================================================
FAIL: test_multipleasserts (__main__.TestMultipleAsserts) (<subtest>)
----------------------------------------------------------------------
Traceback (most recent call last):
File "./test.py", line 9, in test_multipleasserts
self.assertEqual(1, 0)
AssertionError: 1 != 0
======================================================================
FAIL: test_multipleasserts (__main__.TestMultipleAsserts) (<subtest>)
----------------------------------------------------------------------
Traceback (most recent call last):
File "./test.py", line 11, in test_multipleasserts
self.assertEqual(2, 0)
AssertionError: 2 != 0
----------------------------------------------------------------------
Ran 1 test in 0.000s
FAILED (failures=2)
您可以轻松包装子测试,如下所示
class MyTestCase(unittest.TestCase):
def expectEqual(self, first, second, msg=None):
with self.subTest():
self.assertEqual(first, second, msg)
class TestMA(MyTestCase):
def test_ma(self):
self.expectEqual(3, 0)
self.expectEqual(4, 0)