寻找“测试执行管理器”软件来管理自动化测试

Question

我们开发了多种产品，并且已经为它们进行了广泛的单元测试和全自动功能测试。问题是那些测试不经常运行，只是由开发人员手动运行或者在发布新版本之前运行。

我正在寻找一个“测试执行管理器”软件，该软件允许：

• 将测试套件定义为我现有测试的集合;
• 在我们的测试实验室中的多台计算机上执行测试套件;
• 收集结果并正确地展示;
• 保留测试执行历史记录和结果

大多数“测试解决方案”我发现专注于“编写自动化测试”（我们已经开始工作）或者与软件开发的其他方面紧密集成，例如定义需求和归档错误（我们已经和不会想要改变。）

• 任何人都可以推荐使用简单灵活的软件来执行上述操作而不强制使用特定的开发流程吗？
• 我虽然在使用（或滥用） Hudson CI 。 Hudson可以定期运行测试，收集结果并呈现它们，或者由于代码提交而产生;但它不是为测试套件定义而设计的。有经验的Hudson用户对此想法的任何意见表示赞赏..

Answer 1

首先，我们的开发人员不允许在不运行单元测试的情况下签入代码。我们还运行一个CI服务器（Hudson），它在提交后构建并运行单元测试。我们正在努力为每晚构建实现功能测试。

你说开发人员测试软件了吗？这是件坏事。至少让不熟悉代码的开发人员测试你的应用程序，否则你可能会忽略一些错误，因为编写代码的开发人员排除了它们的存在。另外，谁写了功能测试？开发者又来了吗？你应该让你的BA写下来。永远记住，四只眼睛看到两个以上。

所以说完毕，我认为单元测试将始终在代码检入SCM之前运行。以下主要针对功能测试。

简单的解决方案：

• 您始终可以创建脚本来捆绑测试（运行单个测试的批处理或shell脚本）。
• 执行测试套件实际上是Hudson的目的之一
• 收集和展示结果，这就是Hudson的用途
• 见上文，可以使用Hudson完成，而不会滥用它。

一个好的解决方案：

您是否看过像IBM Rational Quality Manager这样的工具？根据您使用的测试工具，您可能希望使用不同的测试管理工具。 Oracle还为它提供了一个工具。不要误以为这些工具通常相当昂贵并提供比您想要使用的更多的方法。有了谷歌的一点帮助，你应该找到适合你需求的东西。我的关键词是“集中测试管理”。

如果您使用FitNesse进行功能测试。您可以在FitNesse中定义套件，我认为套件可以是更大套件的一部分。 FitNesse肯定会保留历史测试数据。可以从命令行运行测试，使您可以从ant或maven运行测试。

如果您使用单元测试框架进行功能测试，您还可以将其作为每晚构建的一部分运行，并使用CI服务器（Hudson或Cruise Control或......）进行计划。