在一个URL上获取具有tap格式的phantomjs的两个不同测试结果

Question

我正在使用phantomjs在Jenkins上测试我的网站，并且混淆了在两个版本中获得了不同的TAP结果，没有任何改变。 但是，Junit xml的结果与我们预期的相同。

有人可以向我解释或帮助吗？非常感谢你！

这是我比较TAP的结果。

3,4c3,4
< ok 1 B (82) overall score
< not ok 2 D (68) ynumreq: Make fewer HTTP requests
---
> not ok 1 C (78) overall score
> ok 2 B (80) ynumreq: Make fewer HTTP requests


24c21
<   message: There are 50 static components without a far-future expiration date.
---
>   message: There are 45 static components without a far-future expiration date.

77c69,81
< ok 6 A (100) ycompress: Compress components with gzip
---
> not ok 6 F (12) ycompress: Compress components with gzip

Answer 1

当你说“没有任何改变”时，某处可能确实存在差异。

对于基于HTTP的测试套件，每次可能会得到不同结果的原因有很多：

• 您的测试用例在两次运行之间发生了变化。
• 您正在测试一个实时Web服务器，其内容在测试之间发生了变化。
• 您正在测试一个实时网络服务器，其内容在您第一次测试时尚未完全部署，但是是第二次。
• 您正在测试的实时URL的主机名解析为多个服务器，负载均衡器每次都会将您发送到不同的服务器，每个服务器都有不同的内容。
• 您的测试客户端中发生了某种形式的缓存。
• 服务器正在提供动态内容，例如根据时间，客户端IP地址，......

但是，JUnit XML输出文件可能是相同的，例如，如果您没有执行“干净”构建并在构建开始时删除XML文件。也许你的测试工具拒绝编写一个新的XML文件，如果已经有一个。