Amazon Device Farm上出现意外的KIF测试流

Question

我在Amazon Device Farm上运行KIF测试套件。我在提交作业时选择了XCTest。我观察到一个意外的运行流程，与从Xcode本地运行测试不同。

KIF版本为3.5.1，Xcode版本为8.2。

众所周知，KIFTestCase是XCTestCase的子类，用于添加可用于执行KIF测试步骤的设置和拆除步骤。＆＃34; beforeAll＆＃34;并且＆＃34;在所有＆＃34;之后在所有测试之前和之后运行一次＆＃34; beforeEach＆＃34; && 34; afterEach＆＃34;在每次测试之前和之后运行。 所以我有一个带有3个测试用例的测试套件，流程将是：

beforeAll     之前每次测试1之后     之前每次测试2之后     之前每次测试3之后 毕竟

当我使用Xcode或Jenkins在本地运行测试时，它会遵循上述流程序列。 但是，当我将作业提交到Amazon Device Farm时，我可以从日志中看到它以及它运行的视频，如下所示：

beforeAll beforeEach test1 afterAach afterAll 之前的所有之前的每次测试2之后的所有 之后所有之前的每个测试3之后的所有

即每个测试用例完全从SCRATCH运行：登录，设置DB，重新创建的准备实例以进行测试;测试;清理和注销。

由于beforeAll通常需要大约1分钟以上且每次测试只需几秒钟，因此这个流程序列使测试运行时间更长，因此非常昂贵。

我想知道是否有人看到同样的事情以及这是否是亚马逊设备农场针对XCTest的预期行为？

Answer 1

这是AWS Device Farm中的预期行为。该服务独立于每个其他测试运行每个测试。