TFS即使第二次迭代失败,多次迭代的自动化测试也会显示为已通过

时间:2017-02-16 11:37:19

标签: testing tfs report uitest

我正在使用测试代理2015的TFS 2017环境。在此之前,我们有一个TFS 2013环境,其中包含测试代理2013和MTM(这很好)。

目前我们遇到以下问题:

我们运行一个包含大约40个测试的集合,所有这些测试都有多次迭代。如果第一次迭代失败,我们在tfs中看到这一点,测试状态设置为失败,这是完美的。但是,如果第一次迭代成功而第二次迭代失败,则将测试用例设置为在TFS中传递。但是如果第二次迭代失败,我们希望将整个测试设置为失败。现在的样子看起来几乎所有的测试都通过了,但是有时很多后来的迭代都会失败,这意味着我们会得到错误的报告。

当我打开属于一台机器的.TRX文件时,我可以看到哪些迭代失败,哪一次成功。

所以问题简而言之:

如果测试的第一次迭代通过而第二次测试失败则整个测试被设置为Passed而不是失败导致我们错误报告。

我完全不知道我们做错了什么。但现在它给出了关于我们跑步的虚假信息。

这里有没有人经历过同样的问题?

任何帮助都会非常感激,因为我无法在谷歌上找到有关此主题的任何信息。

1 个答案:

答案 0 :(得分:0)

我已在微软论坛上发布此内容。他们回答说他们可以重现它意味着它可能是tfs / testagent中的一个问题。更多信息可以在这里找到:

https://social.msdn.microsoft.com/Forums/vstudio/en-US/4a384376-feae-46a9-a3da-e4445bc905d8/tfs-automated-tests-with-multiple-iterations-show-as-passed-even-when-the-second-iteration-fails?forum=tfsgeneral