针对第三方版本的程序运行测试计划

Question

使用Visual Studio Online我为一个由我公司使用的其他公司编写的程序创建了一个测试计划。在接受此程序的新版本之前，我们需要测试一组特定的测试。因此，当我编辑测试计划时，我希望能够通过键入说版本“1.0.1.195”来手动选择构建。然后，当出现更新的版本时，我可以输入更新的版本并使用相同的测试重新测试。但是，当我选择构建时，TFS正在针对我的代码过滤我的构建。是否可以使用TFS做我要问的事情？

修改

为了回答评论中的一些问题，我将更加描述我正在做的事情。第三方公司制定了我们用来测试某些硬件的程序。有时会对该软件进行更新。由于我们中的一些人使用这个程序测试硬件，我们需要知道软件可以在升级时几乎没有停机时安装。因此，我们提出了一小组测试，我们运行该程序以确保我们可以可靠地测试。那些测试是用Word文档编写的，所以我将它们放入MTM中。虽然我制作了一些与此相关的软件，但他们的软件依赖于我的软件。我已经有一段时间没有更新我的代码了。我的总体意图是使用MTM来记录我对该程序的测试。

  

是否要存储第三方组件的版本以及在TFS上测试的测试运行的测试结果？

那会很好。我的终极游戏是将所述测试的结果放回到Word文档中，并将其提供给那些没有安装MTM的人（这是每个人）。这样，当更新软件的新版本时，我可以直接进入MTM将我的所有测试重置为主动更新版本号并重新测试。

Answer 1

您在 Microsoft测试管理器（MTM）中设置的构建定义了包含测试的放置位置，而不是测试中的应用程序（如果你使用另一个版本构建你的测试。）

这就是为什么你只能为你的代码选择一个版本。

您所说的是部署 这意味着您必须确保将正确版本的第三方程序部署到运行测试的环境中。

修改

您需要的是测试配置
在这里你可以找到一个很好的解释如何创建一个：Test Configurations - specifying test platforms

您的用例中的想法如下 （下面我使用的是上述文章中描述的术语）：

1. 创建配置变量，您将在其中存储第三方程序的当前版本
2. 创建测试配置并将此变量添加到其中。
3. 将此测试配置设置为测试计划的默认测试配置 请注意，如果您的测试计划已包含测试用例，则必须手动将此测试配置添加到每个测试用例，因为只有新添加的测试用例才能自动分配

如果您获得第三方程序的新版本，您将：

1. 将新版本的程序添加 配置变量
所允许的值
2. 打开您正在使用的测试配置，将程序版本更新为新版本。
3. 重置测试并运行它们。

这样做你：

• 将您目前测试过的所有版本存储在配置变量中，因为您添加新版本而不是覆盖旧版本，因此您可以获得一种历史记录。
• 将您测试的最新版本存储在测试配置。
中

这应该满足你的需求。

其他建议
（与您的问题无关，但与您的用例无关）

考虑在测试用例中描述测试，而不是创建 Word 文档。
这是一个开始阅读的好地方：How to: Create a Manual Test Case

好处是：

1. 您可以使用 MTM 提供的 Test Runner 运行手动测试 这样做，您将完成测试结果所存储的所有步骤，您可以在执行该步骤时为每个步骤添加注释等。
2. 您仍然可以使用此 MTM 插件将测试说明导出到 Word 文档：Test Scribe。
   使用此附加组件，您还可以创建测试执行的报告。

此外，如果您打算在日常工作中使用 MTM ，我会向您推荐这本免费电子书Testing for Continuous Delivery with Visual Studio 2012