Jenkins运行期间FoneMonkey测试崩溃

Question

我使用FoneMonkey + Jenkins进行自动iOS测试。我要求FoneMonkey生成XML报告（FM_ENABLE_XML_REPORT - 设置为TRUE）并使用waxsim运行它。今天我发现当应用程序崩溃时（即由于NSInvalidArgumentException），不会生成xml报告。然后在Jenkis中我看到100％通过（我使用标准的JUNIT插件），显然不是真的。

发现这种情况的唯一方法是： a）分析Jenkins控制台日志（即查找*** Terminating app due to uncaught exception） b）发现在詹金斯的报告中，跑步测试的次数比以前低（这就是我的队友发现问题的方式）。

我知道我可以使用Jenkins Text Finder插件来解决方案a），但我希望得到准确的报告。

有没有办法实现它？如果不是，FoneMonkey有用吗？

Answer 1

如果执行工具失败（由非零退出代码表示），Jenkins会检测到此情况并将构建标记为失败。如果这些工具坏了，Jenkins可以做很多帮助。

根据您的情况，我看到了几种可能性：

• 当被测应用程序崩溃时，应修复FoneMonkey以返回非零退出代码
• 应修复FoneMonkey以始终输出XML，即使被测试的应用程序崩溃
也是如此
• 您可以编写自定义FoneMonkey-output-to-JUnit-parser而不是依赖FoneMonkey（例如，存在类似的项目来解析Android测试运行器输出）