基准测试是否有良好的学术参考？

Question

我正在寻找关于如何对程序进行基准测试的良好学术参考。在基准测试中似乎有很多传说，但我没有看到很多参考文献解释什么是一个好基准，什么是坏基准，以及如何写一个。

感谢。

Answer 1

从学术上讲，相关文章是来自OOPSLA 2007的“统计严谨的Java性能评估”（可以从Google Scholar中找到）;虽然专注于Java，但它包含有关基准测试的一般课程，而关于Java的内容很好地概括了在某些虚拟机上运行的大多数语言并简单地使用垃圾收集。最后，他们总结了分析结果所需的统计知识。

此外，这是Google的一个框架：

http://code.google.com/p/caliper/

在这里，他们的Wiki讨论了一个良好基准的一些标准： http://code.google.com/p/caliper/wiki/JavaMicrobenchmarkReviewCriteria