处理回归测试的预期变化

Question

我正在为我的服务使用连续部署，该部署会生成XML文件作为输出。为此，我们计划将回归测试添加到我们的部署流程中，在该部署流程中，我们将使用此代码更改v / s生成的XML文件与不进行此代码更改的XML文件进行比较。

但是由于某些代码更改可能导致输出之间的差异，从而导致测试失败。

一种方法可能是允许测试失败并生成Diff报告，然后手动批准。

在连续部署中通常如何处理此类情况？

Answer 1

您可以使用类似xmldiff tool这样的名称，它在XML文件之间创建易于理解的差异。如果进行了代码更改导致测试失败，则已经为您生成了差异报告。

我已经使用了类似的实用程序来进行屏幕截图比较，尽管最后在发生意外更改时仍需要进行手动检查，但这可以大大加快该过程。