在线判断网站如何隔离程序性能？

Question

有许多在线评判网站可以通过将其输出与正确答案进行比较来验证您的程序。此外，他们还会检查运行时间，以确保您的程序运行时间不超过最大限制。

所以这是我的问题，因为一些在线评判网站同时运行多个测试程序，它们如何实现性能隔离，即如何确保在负载较重的环境中运行的用户程序完成在同一时间，就像它在闲置环境中运行一样？

Answer 1

操作系统与实际“挂钟”时间分开跟踪CPU时间。在进行基准测试时只需查看一种或另一种时间就很常见了。只需CPU时间即可测量CPU或文件I / O密集型任务。需要外部资源的任务（如查询远程数据库）最好在挂钟时间内测量，因为您无法访问远程资源上的CPU时间。

如果判断站点只是比较不同测试的CPU时间，则站点可以同时运行多个测试。另一方面，如果挂钟时间很重要，那么该站点必须使用独立硬件或作业队列，以确保在下一次启动之前完成一个测试。

Answer 2

作为The Computer Language Benchmarks Game measures both CPU time and Elapsed time，这些测量是在空闲环境中按顺序进行的。