跨浏览器E2E测试-值得吗?我需要经验丰富的意见

时间:2019-06-06 08:27:07

标签: javascript selenium testing puppeteer e2e-testing

我需要有人对我们端到端测试的情况有经验的看法:

  • 我们有评分网站,您可以在其中发表评论等。
  • 我们网站的浏览器统计:Chrome 83%Safari 10%
  • 我们有哨兵,以便以后可以发现错误
  • 我在伪娘方面有很好的经验,但是其他E2E工具对我来说是新的
  • 端到端测试应该测试应用逻辑,并且理论上在所有浏览器上都应该相同。
  • 但是野生动物园有很多区别(like this)。而且它可能会在Chrome无法做到的地方引发错误。

主要问题是:是否要通过我们的跨浏览器测试麦芽汁?

其他问题:

  1. 也许只是这些野生动物园“功能”的清单,我只需要了解它们,我可能只测试铬?
  2. 为2个浏览器而不是puppeteer 1浏览器编写诸如硒之类的测试会花费更多的时间?
  3. 实际测试将花费多少时间(运行测试时)?硒vs木偶

注意:

这个问题更多是因为信息太多,然后信息太少了。

1 个答案:

答案 0 :(得分:3)

这是一个有趣的问题,但是没有简单的是/否答案。本质上,简短的答案取决于它。跨浏览器兼容性对您的网站对您的企业有多重要?仅影响单个浏览器的错误有什么影响?

为帮助您针对特定用例做出决定,让我给您一些考虑的事项。我将尝试使用您提供的上下文。

使用哪些浏览器访问您的网站?

在大多数大型组织中,人们可以在其系统上使用的浏览器受到严格控制。这意味着跨浏览器测试变得不那么重要。对于面向公众的网站,您需要更仔细地考虑使用的浏览器。

就您而言(基于您在帖子中提到的统计信息),我肯定会说您的自动化测试应在Chrome上运行。然后,您可以考虑在Safari上进行跨浏览器测试。这将吸引您93%的用户。

但是,请检查您的统计信息是否发现从其他浏览器中获得的退出次数高于正常情况。想象第一个屏幕上的错误仅影响FireFox用户。这样会使您的浏览器使用统计信息不正确,因为FireFox用户将不会使用您的网站(或切换到Chrome)。

您的网站对用户有多重要?

如果您正在为一家银行运行网站,则用户在一个有漏洞的网站上的停留时间将比在新闻站点上停留的时间长。这是因为用户迁移到新站点的成本是转移他们的银行帐户,而对于新闻站点,他们只是加载另一个站点。

基于您的评论网站示例。我怀疑用户可以轻松切换到其他站点。

跨站点测试的投资回报率是什么?

如果您从站点的Safari用户中损失了收入,是否会使公司付出的成本超过实施跨浏览器测试的成本?对不起用户,但是如果答案是否定的,那对企业来说根本不值得。

希望这给您一些决定时要考虑的想法。如果您想进一步说明我在这里提出的观点,请随时发表评论。