我们有一个自动化测试框架,它使用CodedUI,在专用自动化服务器上链接Ranorex(5.4.2),VSO 2013(TFS)和VS 2013。它按照MTM中的查询确定的顺序运行测试,该查询以递增的测试用例ID顺序对它们进行排序,并且一直运行正常,直到最近:
MTM测试运行日志显示它们按正确的升序测试用例ID顺序进行调度。在此图像中,您可以看到测试用例ID序列从第9行的测试用例ID 607到第10行的测试用例ID 624:
在上周,我们注意到虽然查询中的测试顺序没有改变,但是在MTM中准备测试运行时,测试正在重新排序:
在第二张图像中,您可以看到序列更改为第9行的测试用例ID 607,以测试第10行的案例ID 25285.序列继续以非常混乱的方式来回跳转。这导致了我们的问题,因为一些后来的测试依赖于早期测试中生成的测试数据,因此当这些数据不可用时失败,因为测试运行得比它应该的更早。
查询中的测试顺序没有任何变化,我们没有添加任何新测试,但我们的开发人员最近在开始发生时安装了Visual Studio 2013 Update 5。
之前是否有人遇到此问题或知道是否可能是由于最近的VS更新?我曾经猎杀过,但在任何其他网站上都找不到类似的东西。
更新 我通过少量测试进行了进一步的研究:
在日志第10行的测试运行期间,它们再次失序。第13行包含应该在第10行进行的测试:
关于如何将此问题转发给我的想法已经不多了,所以任何帮助都会受到极大的赞赏。