运行集成测试的最佳做法是什么?

时间:2017-06-14 10:19:37

标签: api postman azure-service-fabric newman

我们有超过150个邮差测试。它们是**集成测试**,它们针对实际的数据库和服务结构实例运行。他们失败了,因为他们没有与那些不时融入整合的开发人员联系在一起。

他们很高兴找到一些错误。它是在产品的每个新构建上运行的一组测试,用于在构建发布到测试团队之前验证构建是否可测试。我们正在使用Newman从控制台运行它们。与此同时,我们希望改进我们的持续部署管道。

问题

1.我们应该持有/运行它们?是否有运行邮差API测试的云工具?

  1. 我们应该如何使用/接近它们? (每次提交后?每日?)

  2. 我们可以将postman API测试称为集成或冒烟测试吗?

  3. enter image description here

    enter image description here enter image description here

    enter image description here

1 个答案:

答案 0 :(得分:3)

我对烟雾测试的理解是,它们的尺寸应该相对较小(150次测试看起来乍一看太多),实际上#34;从不" (或不经常)失败。您希望仅为您的应用程序包含关键任务端点,并且测试应该非常快速地执行。

冒烟测试的范围是通过测试简单的故障将发布/构建或安装标记为不可接受/失败,例如(但不一定限于)状态代码200(或其他)并且是JSON格式的响应。

我不会依赖冒烟测试来查找特定REST端点中的实际错误,而是要了解事情正在运行的一般概述。

  

1.我们应该持有/运行它们?是否有运行邮差API测试的云工具?

使用版本控制来保存它们并使用Jenkins或其他CI工具来运行它们。

此外,您可能希望在登台或生产服务器上部署后运行冒烟测试。

Postman也提供一些付费工具。

  

我们应该如何使用/接近它们? (每次提交后?每日?)

他们应该成为您管道的一部分。快失败!在每次提交或构建后尽可能可靠地运行它们。如果由于白天不可靠的外部依赖性而无法做到这一点 - 例如 - 在晚上运行它们。

  

我们可以将postman API测试称为冒烟测试吗?

你可以随意打电话给他们!

问题更像是:"你究竟想要实现什么目标?"。如果你的某些测试做得太多或经常失败,那可能是因为它们更像集成测试。