我们有超过150个邮差测试。它们是**集成测试**,它们针对实际的数据库和服务结构实例运行。他们失败了,因为他们没有与那些不时融入整合的开发人员联系在一起。
他们很高兴找到一些错误。它是在产品的每个新构建上运行的一组测试,用于在构建发布到测试团队之前验证构建是否可测试。我们正在使用Newman从控制台运行它们。与此同时,我们希望改进我们的持续部署管道。
问题
1.我们应该持有/运行它们?是否有运行邮差API测试的云工具?
答案 0 :(得分:3)
我对烟雾测试的理解是,它们的尺寸应该相对较小(150次测试看起来乍一看太多),实际上#34;从不" (或不经常)失败。您希望仅为您的应用程序包含关键任务端点,并且测试应该非常快速地执行。
冒烟测试的范围是通过测试简单的故障将发布/构建或安装标记为不可接受/失败,例如(但不一定限于)状态代码200(或其他)并且是JSON格式的响应。
我不会依赖冒烟测试来查找特定REST端点中的实际错误,而是要了解事情正在运行的一般概述。
1.我们应该持有/运行它们?是否有运行邮差API测试的云工具?
使用版本控制来保存它们并使用Jenkins或其他CI工具来运行它们。
此外,您可能希望在登台或生产服务器上部署后运行冒烟测试。
Postman也提供一些付费工具。
我们应该如何使用/接近它们? (每次提交后?每日?)
他们应该成为您管道的一部分。快失败!在每次提交或构建后尽可能可靠地运行它们。如果由于白天不可靠的外部依赖性而无法做到这一点 - 例如 - 在晚上运行它们。
我们可以将postman API测试称为冒烟测试吗?
你可以随意打电话给他们!
问题更像是:"你究竟想要实现什么目标?"。如果你的某些测试做得太多或经常失败,那可能是因为它们更像集成测试。