PHPUnit Selenium。在将测试作为测试套件运行时,是否可以在将测试标记为失败之前运行测试两次?

时间:2013-10-02 18:58:06

标签: selenium phpunit

我每周运行我的测试套件/脚本,看起来有些测试用例总是会失败,即使没有任何错误。

当我第二天检查失败的测试用例时,大约有2/3的测试用例正常并通过。

我已将超时时间增加到60秒

我很确定测试用例失败的原因是因为有时需要一段时间来加载或上传导致WaitFor超时的文件。

在将测试作为测试套件运行时,是否可以在将测试标记为失败之前运行测试两次?

1 个答案:

答案 0 :(得分:1)

如果您的测试失败有时不是因为一个错误,那么真正的解决方案是尝试缩小为什么您的测试通过有时,有时不会。如果您对长页面加载的怀疑结果是真的,而不是试图再次重新运行测试 - 这会人为地延长测试执行时间而不提供任何确定的测试结果,因为它可能再次失败,您应该尝试以下之一:

  • 安排一个舒适的超时(在检查平均页面加载/文件上传需要多长时间后),并将任何超时视为真正的失败,而不是无限期地再次重试。

  • 放弃测试。不能产生可靠结果的测试比没有测试更差,因为您可能会对一般的测试结果产生不信任/不合格的危险。

  • 将测试分成另一个套件,这是一组具有外部依赖关系的测试,可能由于超出您的控制/代码的外部原因而失败。这将使您可以运行以确保代码不会破坏任何内容的测试,以及另一组完整覆盖您的应用程序的测试。