什么是好的测试自动化框架？

Question

我正在寻找一种工具来集成许多不同类型的自动化和测试框架，以便自动化完整的端到端测试方案。例如，典型的工作流程可能是：

• 安装操作系统（Ghost等）
• 配置操作系统（打开防火墙例外，设置用户等）。
• 安装软件（Visual Studio，SQL等）
• 运行测试（Visual Studio单元测试，nUnit，自定义工具等）。
• 生成上述运行报告
• 允许监控机器，正在进行的测试以及测试运行的安排

有人知道这样的系统可能存在吗？

Answer 1

我会质疑你在这里尝试实现的范围和内容，并且可能建议你需要将其分解为一组定义明确且具有明确目标的测试策略。

例如，每次运行单元测试时，我都看不出为什么要安装整个操作系统，开发环境等的原因。这应该是各个开发人员在他们自己的开发环境中在短迭代周期中所做的事情。

虽然部署测试之类的东西（从头开始测试构建应用程序和主机操作系统的完整用户安装是否有意义）将不那么频繁地尝试，并且需要与您需要执行的工具完全不同的工具集单元测试。

实际上，所有这些都是为了分离您尝试实现的内容以及您在开发生命周期的任何特定阶段尝试进行测试，并围绕这些方案构建特定的独立测试流程。这可能比过度构建在单个工作流程中完成“一切”的东西更可取。

Answer 2

我认为，对于前三个步骤，您正在寻找一种方法，从一个定义良好的系统配置开始运行测试。像VMware或Xen这样的virtual machine (VM) manager是实现这一目标的方法;您可以使用不同部署所需的确切配置存储多个VM快照。您还可以通过API自动启动VM，您可以将其连接到构建系统。