你如何使用junit标记片状测试？

Question

如何标记jenkins用来向我们提供报告的junit xml语法中的片状测试？詹金斯给了我一个关于成功和失败的测试的好报告。我想知道哪些测试是片状的。

Answer 1

您将此类测试标记为无用。而你的主要目标是消除＆＃34; flakiness＆＃34;这些测试 - 通过确定问题的根本原因以及修复生产或测试代码;或两者;或者最糟糕的情况是删除或@忽略这些测试。

免责声明：詹金斯不能告诉你有关片状测试的问题。怎么可能？！

如果你认为你有片状测试用例，你可以花一些时间来创建一个jenkins设置，所有测试都是针对相同的构建输出运行5,10,50次;然后比较统计数据。但这不是免费的 - 你必须自己实现。

Answer 2

当然，片状测试需要避免和修复。测试应该总是通过，如果不是，则需要进行测试 然而，我们并不是生活在一个完美的世界中，因此找出过去偶尔失败的测试可能会有所帮助。

由于Jenkins会跟踪测试结果，因此您可以浏览特定测试用例的历史记录（使用＆＃34;上一个/下一个构建＆＃34;链接）。

此外，还有两个可能有用的Jenkins插件：

1. Test Results Analyzer Plugin: 这个插件让您一眼就能看到特定测试用例（或测试套件）的历史记录（另外还可以添加漂亮的图表）
2. Flaky Test Handler Plugin:这个插件对失败的测试有更深的支持（即重新运行它们）。虽然它有点受限于maven和git。