Question

我正在尝试对使用Scalameter计算运行中位数的两种不同实现进行微基准测试。我有一些测试文件，大小不一，它们来自数字。问题是，以下代码会立即完成，而根本不会产生任何基准。

object MedianMaintenanceBenchmark extends Bench[Double] {

  /* configuration */

  lazy val executor = LocalExecutor(
    new Warmer.Default,
    Aggregator.median[Double],
    measurer
  )
  lazy val measurer = new Measurer.Default
  lazy val reporter = new LoggingReporter[Double]
  lazy val persistor: Persistor.None.type = Persistor.None

  /* inputs */

  private val files: Gen[String] = Gen.enumeration("files")("median-test")
  private val num: Gen[Seq[Int]] = (for (f <- files) yield numbers(f)).cached

  /* tests */

  performance of "MedianMaintenance" config (
    exec.benchRuns -> 10
    ) in {
    measure method "using heap" in {
      using(num) in {
        xs => MedianMaintenanceUsingHeaps(xs).medians
      }
    }
  }

  private def numbers(filename: String): Seq[Int] = // elided
}

输出：

::Benchmark MedianMaintenance.using heap::
cores: 8
hostname: ***
name: OpenJDK 64-Bit Server VM
osArch: x86_64
osName: Mac OS X
vendor: Azul Systems, Inc.
version: 11.0.1+13-LTS
Parameters(files -> median-test): 3.612799 ms

这是怎么回事？

编辑：

至少按如下所示更改代码可以执行某些操作，但是不支持这些选项。文件“中位数”似乎总共运行了18次测试，而不是3 + 10的总和。

object MedianMaintenanceBenchmark extends Bench.ForkedTime {

  /* configuration */
  override def aggregator: Aggregator[Double] = Aggregator.median

  private val opts = Context(
    exec.minWarmupRuns-> 3,
    exec.maxWarmupRuns -> 3,
    exec.benchRuns -> 10,
    exec.jvmflags -> List("-Xms2g", "-Xmx2g")
  )

  /* inputs */

  private val files: Gen[String] = Gen.enumeration("files")("median-test", "Median")
  private val num: Gen[Seq[Int]] = (for (f <- files) yield numbers(f)).cached

  /* tests */

  performance of "MedianMaintenance" config opts in {
    measure method "using heap" in {
      using(num) in {
        xs => MedianMaintenanceUsingHeaps(xs).medians
      }
    }

    measure method "using red-black BST" in {
      using(num) in {
        xs => MedianMaintenanceUsingRedBlackTree(xs).medians
      }
    }
  }

  private def numbers(filename: String): Seq[Int] = // elided
}

Answer 1

在这里操作：几个小时后，我终于能够浏览可悲的过时文档，无论如何存在，并找出以下内容：

除了我上面的编辑外，还有几种方法可以覆盖执行计数等。

对于当前文件中的所有基准，请使用override def defaultConfig: Context = Context(exec.benchRuns -> 10)
对于特定基准，定义内联或定义val opts: Context并使用config opts in DSL。
对于特定方法，除了在方法DSL上使用config opts in之外，其他与＃2相同。
文档声称可以覆盖每个“曲线”的配置，但我无法找到“曲线”是什么或如何覆盖其配置。

independentSamples =产生的独立JVM的数量。

使用一组测试数据（随机选择？）在每个JVM上运行(minWarmupRuns to maxWarmupRuns)次（有意义），然后在每个JVM上运行测试benchRuns次。运行多少次预热取决于是否检测到“稳定状态”。每个JVM最终似乎都没有执行一次。

Total number of executions = independentSamples * ((minWarmupRuns to maxWarmupRuns) + benchRuns + 1)

例如，给定：

Context(
  exec.minWarmupRuns -> 5,
  exec.maxWarmupRuns -> 5,
  exec.benchRuns -> 10,
  exec.independentSamples -> 2
)

将要执行32次测试代码。

如何使用文件中的数据进行微基准测试？

1 个答案: