评估团队测试信心的技巧？

Question

我正在尝试确定我的开发团队在自动化测试基础（单元，集成，webtest）中的置信度。我最喜欢得到合理的答案：

• 您希望覆盖/未涵盖哪些重构测试？
• 您是否相信绿色版本可以自动部署验收测试环境？
• 您是否相信绿色版本可以直接自动部署到生产环境？

我希望有一些预先存在的指标和可能用于探索这个领域的调查问卷。我的目标是提高自动部署的水平，但我真的只相信我们可以自动化开发人员信任/相信的东西。

任何人都知道有什么技巧可以探索这个吗？

Answer 1

我不知道这个领域有任何现有的工作。你的问题很好，并把它们放在每个问题上有1-5颗星的纸上，这应该会给你一个想法。其他需要考虑的因素：

• 在测试之后发现测试应该发现的错误的频率是多少？您可以使用错误数据库中的特殊字段跟踪此信息
• 开发人员多久运行一次测试？在这里，置信度== 1 /频率。如果他们相信测试，他们会经常运行它们。如果他们不相信他们，他们就不会对他们进行操作甚至将他们视为痛苦。
• CI服务器上的构建失败的频率是多少？这通常表明测试很脆弱，只能在开发人员计算机上运行，​​或者开发人员在提交之前不运行测试。

Answer 2

你有没有想过召集会议并问他们？

讨论它可能会带来数字和指标无法表达的可能缺陷。

Answer 3

直接向他们提出这些问题。

特别重要的是“自动部署接受”。找出是否会有很大的犹豫，如果有，你怎么能解决它。

这是另一个想法：考虑自动部署到验收的3天或1周的试用期。在它之后进行第二次讨论并评估它是如何进行的。完成自动化生产构建。

显然有各种指标

• 代码覆盖率
• 回归
• 错误发现与修复
• 集成服务器发现的错误

收集这些可能是团队的有趣素材，但最终，正如你所说 - 它是一个自信的问题，因此有点情绪化。什么数字会让他们更有信心。