我有一组基于java的api测试,我从Intellij IDEA运行。由于每次测试运行中的相同原因,一些测试通常会失败。有些测试失败的次数较少。我想运行所有测试至少一百次以找出哪些测试失败以及每次失败测试失败的唯一原因是什么。
以下是我想为自己制作的报告示例。每个失败的测试都有一行。每个冒号前面的文本实际上是列名。
failingTest:myTest,failureReason:预期200但得到304,timesOccurred:25/100,stackTrace:text。
failingTest:myTest,failureReason:404 not found,timesOccurred:5/100,stackTrace:text。
因此,从上面我们看到“myTest”总共失败了30/100次。生成此类报告的最简单方法是什么?
感谢。
答案 0 :(得分:1)
最简单的方法是通过实施由数据库支持的org.testng.IReporter
来构建自定义报告者,在其中添加测试结果。
如果特定方法的测试结果已经存在,则根据每个唯一失败原因的测试结果更新其执行计数及其通过/失败计数。