是否有必要在所有浏览器上运行自动化脚本（例如Selenium脚本）？

Question

假设我需要使用自动脚本对应用程序进行烟雾测试。现在是否真的有必要在所有浏览器（例如Chrome，Firefox，IE）上运行这些脚本来检查稳定性？

因为目前我只使用Firefox和我的selenium-webdriver脚本。所以，我只是想知道是否有必要定期在所有浏览器上进行测试？

Answer 1

对我来说，这主要取决于两个因素。

• 申请是什么以及如何撰写？

例如，如果网站只是老式的HTML 4网站，那么我就不会费心去测试所有浏览器了。如果目标不是某种怪物网络应用程序而只是一个简单的网站，我只会使用无头浏览器PhantomJS来确保它的功能。但是，如果我们谈论复杂的现代网络应用程序，那么我建议对一些真正的浏览器进行测试（至少Chrome，Firefox，IE）。

此外，它实际上取决于网站上使用的技术。如果使用过时的东西来构建应用程序，那么我会说要考虑并测试IE8等旧浏览器。

• 您的客户使用哪些浏览器？

我最关心的是客户使用的浏览器。如果大多数用户使用IE6，那么IE6将成为我的主要测试目标。查看网站分析工具中的用户数据，例如Google Analytics，MixPanel等，看看哪些更重要。

例如，每当我看到有人询问如何在Windows上使用Safari运行Selenium时，我会立即告诉他们，Safari for Windows已经死了，不要这样做，因为这只是浪费时间（除非大多数情况下）客户出于某种奇怪的原因使用它。）

• 来自Arran评论的更多想法：

您需要衡量的另一件事是ROI（投资回报率）。

UI测试通常由开发人员编写，需要大量维护。如果测试是针对Opera运行的，那么没有客户使用，那么开发人员最终可能会花费很多时间来尝试维护不稳定的失败测试，​​而不会在真实环境中发生。

使用更多浏览器意味着更高的维护成本。看看产品的所有UI错误，其中有多少是特定于浏览器的？例如，如果它大约是25％而且全部是关于IE，那么我会说你在Chrome（或Firefox）和IE上运行你的测试。但如果它只有5％，我会说测试一个浏览器就够了，不要担心别人。