由于黄瓜中已知的缺陷而处理失败的测试

时间:2015-12-08 13:54:50

标签: jenkins cucumber jira

我们目前使用红宝石和黄瓜设置。由于已知的错误,测试中有一些步骤失败(端到端回归测试)。开发人员需要一些时间来根据他们的工作量和错误严重性来修复它们。如何最好地处理这些失败的测试?

  1. 我们是否应该使用错误故障单编号标记它们,并让这些特定测试在CI上运行时跳过?
  2. 让他们失败并标记构建不稳定,直到开发人员修复他们有多少天?
  3. 黄瓜还有其他任何方式说这些特定的测试除了通过或未能表明其受到控制之外还有不同的状态吗?

1 个答案:

答案 0 :(得分:2)

我设法找到了一个更好的解决方案,以满足在线搜索的需求。我们可以将测试标记为"待定"这样它就不会失败但会变黄并指示待定。

https://phabricator.wikimedia.org/T58243

这样做的好处是,将来如果错误得到修复并且步骤不再失败,它将表明这一点,以便我们可以删除待处理状态。

预计待定'错误jira-195'失败。没有提出错误。不再等待? (黄瓜::待定例外)