如何为高斯过程（GP）选择合适的内核？

Question

我知道在GP中，与SVM不同，内核是测量一个点和给定点之间的相似性。但是，是否有内核选择的一般准则？或者是否有任何材料引入流行内核的特征（如平方指数内核）？

顺便提一下，Lin博士（LIBSVM工具箱的作者）解释了为什么RBF内核可能是SVM的首选，所以有人可以告诉我为什么SE内核在GP中如此受欢迎吗？

Answer 1

我认为你已经触及了人们对高斯过程的几个常见问题。我会尽力回答：

模型选择：模型选择是GP的重要且非平凡的方面。它通常由用户决定，因为它们往往是特定于应用程序的。这可能是一个问题，因为用户可能不是GP内核大师，如果我们为我们的数据选择一个糟糕的模型，那么我们不可避免地会得到较差的预测性能。但是在这方面已经做了一些尝试。如果您阅读GPML的第5.2章，它会讨论贝叶斯模型选择，它可以帮助您。

有用的内核：关于内核以及何时使用它们有很多有用的文献。但是，如果您了解一些原始内核并了解如何组合它们的基础知识，您实际上可以生成相当复杂的ML系统。 David Duvenaud The Kernel Cookbook为您提供了很好的资源。

RBF vs Squared Exponential：这让很多人不必要地混淆了 - 他们是一回事！这个公共内核一直在使用，并且有许多名称。但是，将其称为“平方指数”需要您自担风险，因为这实际上是一个不准确但常用的术语。 Neil Lawrence是众多GP众神之一，他说我们应该停止称之为“平方指数”内核，而不是“Exponentiated Quadratic”内核。