自动化服务器运行的Testcafe测试随机失败

Question

这是不一致的行为，Jenkins和GitLab运行程序都得到随机结果。在同一台构建机器上运行失败的测试时，一切都会顺利进行。 （例如，由自动化服务器运行时失败的测试，在手动运行时通过-使用 test.only 的测试）

在Firefox和Chrome上进行了大多数尝试，但在完全用户界面上也发生了相同的随机性。

首先，我认为由于并发任务，构建机器上存在资源问题，但是我通过安排夜间构建来排除了此问题。而且，我什至将速度降低到了0.8。

还有其他人遇到过此行为吗？任何提示将不胜感激。

Answer 1

尝试启用quarantine mode，然后尝试skip javascript errors。

没有特定的错误消息很难查明原因

Answer 2

片状测试是一个严重的问题，需要缓解策略。在发现和解决这些问题之前，不确定性可能困扰您的CICD管道和阻塞/延迟开发。我认为，即使为减少此类有问题的测试付出了巨大的努力，但当测试条件达到一定的复杂性水平时，片状测试还是不可避免的。因此，主要目标是适当地管理它们。

可能有益的措施：

• 仅重新运行失败的测试
• 考虑高级概念，例如xpath and Look&feel的组合
• 重构Hermetic pattern，避免使用全局/共享状态或数据，并依赖随机测试运行顺序
• 适当的Test Fixture策略

此处有is more。