应用程序性能的基线和基准之间的差异

Question

什么是基准，什么是基准？什么是这些的最佳定义，以及如何基准一组数字并对另一组进行基准测试？

Answer 1

来自SPR的有趣定义（软件生产力研究）

  

基线和基准是相似但不同的活动。

     

形象地说，基线是一个“沙子中的线”，对于一个组织来说，它衡量重要的性能特征以供将来参考。

这不一定是“好”状态“，只是一个参考。

  

通过对单词本身的原始推导，最好地理解基准：

     

从事重复性工作的商人，例如将木材锯成一致的长度，经常在工作台上放置凹口，以指示在切割之前放置木板。从字面上看，基准成为比较标准和过去成功的指标。

基本上：

• 基线是关于识别重要状态，这意味着您的一组数字符合批准状态，并得到公认。
• 基准是评估应用程序的相对性能。

Answer 2

HI Gagneet，我是Windows性能团队的成员：这是我们使用这些术语的方式。

基线是已知配置的度量，用作后续测量的参考。对于基线，我们描述被测物体的特征：例如，让我们采取冷启动时间。在这里，我们有一套很好的机器 - 这意味着我们知道它们是如何工作的，我们有很好的驱动因素，而且硬件没有损坏或有缺陷。

在这个硬件上，我们有几个“基线”测量，如XP-RTM，XP-SP2，Vista-RTM，Vista-SP1，Vista-SP2等等。

对于这些基线中的每一个，我们都有一组经过充分表征和理解的测量，包括启动的所有阶段，CPU的数量，磁盘和内存利用率，DLL负载的数量等等。

在建立基线后，我们可以进行其他测量并将其与基线进行比较。例如，我们目前正致力于Window-7。对于每个构建（每天），我们运行一组引导时间测试。我们将每个Win-7构建的所有特征与基线测量进行比较。这包括以前的所有Win-7版本。这让我们看到了差异所在，并帮助我们深入研究问题领域。 Here are some more details

Answer 3

在科学研究中，基准是一种测试，基线是一种结果。

让我们看一个基准测试的例子：我们可能会收集5000个英语句子，并使用实验室的四核戴尔机器，使用各种算法将它们翻译成西班牙语。因为我们保持数据和机器不变，我们可以有意义地比较不同算法完成任务所花费的时间，以及它们的相对准确性（根据黄金标准人工翻译进行测量）。

要找到此基准测试的基线，我们可能会编写一个非常天真的翻译算法，只需查找每个单词的最常用翻译，而不考虑上下文。根据我们的人工翻译测量该算法的准确性，可以让我们了解其他人必须击败的最低分数 - 基线，并让我们了解准确度达到“好”的程度。

在距离基线的比例的另一端，上限也是一个有用的尺度。在翻译示例中，我们可以通过测量我们的一个人类翻译相对于其他人的准确性来找到上限。这让我们知道在你达到人类分歧的最高限度之前，我们可以达到“准确度”的程度有多高。我们希望我们的机器翻译算法能够在基线和上限之间执行。

Answer 4

如果我错了，请纠正我，但我认为“基线”是指已知的良好状态，而“基准”是指当前状态。您将进行基准测试并将其与基线进行比较。