如何在结果质量主要是主观的情况下自动进行测试

Question

我一直在通过一系列快速原型开发自动化和统计数据生成程序，以查看API的许可成本是否能产生良好的投资回报。有限的时间框架以及我自己有限的经验使得一个有用的工具没有自动化的质量或正确性测试和指标。

该程序处理PDF文档的本地化过程。具体来说，它生成一些文件内容的报告（大约字数，图像数等），并具有一些内容提取和处理功能。它主要用于减少评估PDF本地化项目成本的时间和成本。

该应用程序现已获准用于更正式的开发过程，包括请求错误跟踪系统以及初步测试，发布和反馈周期。

接下来的问题是，你将如何在这种应用中进行QA和测试，其中数字通常是基于某种启发式的最佳猜测，并且由于源的可怕构造，处理后的输出并不总是有用的文件？我计划在数字明显疯狂的时候给报告添加警告，但还有什么可以保证质量呢？

到目前为止，我所拥有的最复杂的解决方案是通过在构建环境中进行断言测试并编写一堆传统的用户测试用例（我宁愿避免）来保证一些助手方法的结果。

您如何测试主观质量指标？

我在C＃工作，但我赞成通用的最佳实践回答，而不是特定于框架的任何内容。

Answer 1

我不确定你的申请究竟在做什么，但回答一般问题： 构建一组测试用例，代表您的输入范围，并查看它是否能正确判断这些输入。你无法真正测试实际的输入文档。

然后，有一点你必须接受自动测试可以实现的限制。当事情变得非常主观美学或可用性时，你将需要一个真实的人来获得有用的判断。

我希望我能给出更有帮助的答案。

Answer 2

尝试Approval Tests。