通过VSTS API报告测试结果

时间:2019-02-04 15:57:52

标签: azure-devops-rest-api

我正在尝试根据一个计划创建测试运行,该计划具有通过提供的C#客户端已经创建的许多套件和测试用例。

特别是,我们的测试计划大约有7,000个测试用例,具有6种配置,可以得出40k +个测试点。创建运行时,我发现的唯一选择是包括我们要包括的所有点的列表,因此所有40k都在一个请求中。以后似乎没有其他更新点列表的方法。这将导致请求花费太长时间并超时(尽管最终会完成服务器端)。

所以我的问题是:由于所有需要的信息已经在服务器上,因此有没有一种方法可以直接基于计划创建测试运行?要求用户发送整组积分似乎没有意义。

我们面临的第二个问题是有效报告测试结果。假设我们正在使用150个代理分散测试并运行它们,所有这些报告都在同一运行下进行报告。要上传结果,我的理解是我们需要与运行同时创建的测试结果ID(因此,在此之前的任何位置都无法对其进行硬编码)。这样,我们就可以从运行中获得整个结果列表(因为至少它不提供针对特定配置的过滤功能),丢弃那些我们没有结果的结果,然后上传其余结果。由于GetTestResultsAsync一次仅返回1000个结果,因此每个代理程序需要执行40个请求,因此可能需要6000个同时请求(将所有代理程序都考虑在内)。

以上两种情况的效率都很低,除了执行时间长之外,还可能导致我们受vsts的限制。您对我们如何更好地解决问题有任何建议吗?

谢谢

0 个答案:

没有答案