我读过一篇关于机器学习的论文，它包含一个Oracle实验来比较他的研究和另一项研究？ 但似乎没有那么清楚什么是Oracle实验？
答案 0 :(得分：23)
“oracle”是一个虚构的实体，总能给出正确的答案。 oracle实验用于比较您的实际系统与系统的行为方式，如果它的某些组件始终做正确的事情。
例如，在NLP域中，假设您构建了一个解析器，它将词性（POS）标记的句子作为输入。在现实世界中，您必须通过实际的POS标记器运行真实的句子。这个标记器可能会产生精度高于90％但低于100％的结果。由于解析器的准确性取决于传入标记的准确性，因此解析器的性能将受此损失的负面影响。
为了看看如果POS标记器完美，解析器将执行的效果如何，您可以使用oracle标记器进行实验。在本实验中，您将用一个知道句子实际POS标签的程序替换真正的POS标签，从而始终以100％的准确度返回标签结果。
因此，如果您的解析器在使用真实标记器的实验中获得85％的准确率，并且在使用oracle标记器的实验中获得90％，那么您知道5％的性能损失直接归因于标记器的错误