Question

我可以使用 Catch 保证多个TEST_CASE的执行顺序吗？我正在使用LLVM测试一些代码，并且它们有一些我需要显式初始化的卑鄙的全局状态。

现在我有一个类似的测试用例：

TEST_CASE("", "") {
    // Initialize really shitty LLVM global variables.
    llvm::InitializeAllTargets();
    llvm::InitializeAllTargetMCs();
    llvm::InitializeAllAsmPrinters();
    llvm::InitializeNativeTarget();
    llvm::InitializeAllAsmParsers();
    // Some per-test setup I can make into its own function
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile(...));
    CHECK_NOTHROW(Compile...));
    CHECK_NOTHROW(Interpret(...));
    CHECK_THROWS(Compile(...));
    CHECK_THROWS(Compile(...));
}

我想要的是将它重构为三个TEST_CASE，

一个应该通过编译的测试，
一个应该失败的测试，
一个应该通过解释的测试（以及将来可能进一步的这样的划分）。

但我不能简单地将测试内容移动到另一个TEST_CASE，因为如果在设置不方便的全局变量之前调用TEST_CASE，那么它们将不会被初始化并且测试将虚假地失败。

Answer 1

我有点迟到，因为我刚刚看到它 - 抱歉（将来，如果合适，您可以在Catch forum上发布与GitHub或问题列表相关的问题。< / p>

无论如何 - 我不知道你到底做了什么，但在这种情况下，听起来你只想将每组断言分组到SECTION s。

TEST_CASE() {
    // Initialize really shitty LLVM global variables.
    llvm::InitializeAllTargets();
    llvm::InitializeAllTargetMCs();
    llvm::InitializeAllAsmPrinters();
    llvm::InitializeNativeTarget();
    llvm::InitializeAllAsmParsers();

    SECTION( "should pass compilation" ) {
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile(...));
      CHECK_NOTHROW(Compile...));
    }
    SECTION( "should pass interpretation" ) {
      CHECK_NOTHROW(Interpret(...));
    }
    SECTION( "Should fail compilation" ) {
      CHECK_THROWS(Compile(...));
      CHECK_THROWS(Compile(...));
    }
}

然后每个部分就像一个嵌入式测试用例（整个测试用例从一开始就执行 - 通过所有初始化 - 为每个部分执行）。因此，如果其中一个无投掷，则不会阻止其他部分执行。

...除非初始化代码只应执行一次 - 在这种情况下你可以放入一个静态初始化器，就像@paddy建议的那样（一个在其构造函数中调用初始化器的类 - 然后只创建一个全局实例） - 或者你可以使用if on static bool来保护初始化代码块。

Answer 2

如果菲尔的解决方案由于某种原因不合适，可以选择以下方法：

struct TestFixture {
  static bool _initialised;
  TestFixture() {
    if (!_initialised) {
      llvm::InitializeAllTargets();
      llvm::InitializeAllTargetMCs();
      llvm::InitializeAllAsmPrinters();
      llvm::InitializeNativeTarget();
      llvm::InitializeAllAsmParsers();
      _initialised = true;
    }
  }
};

bool TestFixture::_initialised = false;

TEST_CASE_METHOD(TestFixture, "should pass compilation" ) {
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
  CHECK_NOTHROW(Compile(...));
}

TEST_CASE_METHOD(TestFixture, "should pass interpretation" ) {
  CHECK_NOTHROW(Interpret(...));
}

TEST_CASE_METHOD(TestFixture, "Should fail compilation" ) {
  CHECK_THROWS(Compile(...));
  CHECK_THROWS(Compile(...));
}

在此示例代码中，首先运行哪个TEST_CASE并不重要，因为第一次运行将调用llvm初始化函数，而其他函数将由于bool而跳过此函数。

此代码使用Catch的Test Fixture支持，我们在日常工作中广泛使用：https://github.com/philsquared/Catch/blob/master/docs/test-fixtures.md

捕获测试用例顺序

2 个答案: