Question

documentation on GitHub 中有一个关于多线程基准测试的部分，但是，它需要将多线程代码放置在基准定义中，并且库本身会使用多个线程调用此代码。

我想对一个在内部创建线程的函数进行基准测试。我只对优化多线程部分感兴趣，所以我想单独对该部分进行基准测试。因此，我想在函数的顺序代码运行或内部线程正在创建/销毁并进行设置/拆卸时暂停计时器。

Answer 1

使用线程屏障同步原语等待直到所有线程都已创建或完成设置等。此解决方案使用 boost::barrier，但从 C++20 开始也可以使用 std::barrier，或实现自定义屏障。自己实施时要小心，因为它很容易搞砸，但 this answer 似乎是正确的。

将 benchmark::State & state 传递给您的函数和线程以在需要时暂停/取消暂停。

#include <thread>
#include <vector>

#include <benchmark/benchmark.h>
#include <boost/thread/barrier.hpp>

void work() {
    volatile int sum = 0;
    for (int i = 0; i < 100'000'000; i++) {
        sum += i;
    }
}

static void thread_routine(boost::barrier& barrier, benchmark::State& state, int thread_id) {
    // do setup here, if needed
    barrier.wait();  // wait until each thread is created
    if (thread_id == 0) {
        state.ResumeTiming();
    }
    barrier.wait();  // wait until the timer is started before doing the work

    // do some work
    work();

    barrier.wait();  // wait until each thread completes the work
    if (thread_id == 0) {
        state.PauseTiming();
    }
    barrier.wait();  // wait until the timer is stopped before destructing the thread
    // do teardown here, if needed
}

void f(benchmark::State& state) {
    const int num_threads = 1000;
    boost::barrier barrier(num_threads);
    std::vector<std::thread> threads;
    threads.reserve(num_threads);
    for (int i = 0; i < num_threads; i++) {
        threads.emplace_back(thread_routine, std::ref(barrier), std::ref(state), i);
    }
    for (std::thread& thread : threads) {
        thread.join();
    }
}

static void BM_AlreadyMultiThreaded(benchmark::State& state) {
    for (auto _ : state) {
        state.PauseTiming();
        f(state);
        state.ResumeTiming();
    }
}

BENCHMARK(BM_AlreadyMultiThreaded)->Iterations(10)->Unit(benchmark::kMillisecond)->MeasureProcessCPUTime(); // NOLINT(cert-err58-cpp)
BENCHMARK_MAIN();

在我的机器上，此代码输出（跳过标题）：

---------------------------------------------------------------------------------------------
Benchmark                                                   Time             CPU   Iterations
---------------------------------------------------------------------------------------------
BM_AlreadyMultiThreaded/iterations:10/process_time       1604 ms       200309 ms           10

如果我注释掉所有的 state.PauseTimer() / state.ResumeTimer()，它会输出：

---------------------------------------------------------------------------------------------
Benchmark                                                   Time             CPU   Iterations
---------------------------------------------------------------------------------------------
BM_AlreadyMultiThreaded/iterations:10/process_time       1680 ms       200102 ms           10

我认为 80 毫秒的实时时间 / 200 毫秒的 CPU 时间差异在统计上是显着的，而不是噪音，这支持了这个例子工作正常的假设。

在谷歌基准测试中对已经多线程的函数进行基准测试时如何暂停计时器？

1 个答案: