vstest.console.exe随机错过了一些测试

Question

我正在设置要在构建服务器（Jenkins）上执行的单元测试。

我注意到有时vstest决定忽略我的一些测试。它们不会被跳过或失败。他们被简单地忽略了，好像他们不在那里开始。我再次运行测试版本而没有任何更改，问题就消失了。

• 控制台日志中似乎没有vstest崩溃。看起来测试运行已经正常完成，只是总测试次数错误。
• 我用反编译器检查了测试组件，所有测试方法都在那里。
• TRX输出文件看起来完整且有效。

在下面的趋势图中，红色失败，蓝色通过。请注意＃78的下降？这就是我缺少13个测试中的3个：

以下是来自两个连续版本的vstest摘要，两者之间没有任何变化：

＃78： Total tests: 10. Passed: 6. Failed: 4. Skipped: 0.

＃79： Total tests: 13. Passed: 9. Failed: 4. Skipped: 0.

有没有人遇到这样的事情？在我深深扎根于此之前，我是否应该考虑放弃vstest以支持更可靠的测试框架？

Answer 1

抱歉这个错误。这是VS 2015中的回归。我在1月修复了这个错误，修复程序将包含在VS 2015 Update 2中。（我是Microsoft的软件工程师。）测试实际上是运行的，但结果是异步发回的有时我们会在将所有结果发送回测试引擎流程之前关闭测试主机进程。