Question

我觉得非常愚蠢，不明白在这方面不起作用。

我想在高斯过程中加入一些数据。我的协方差函数是基本的平方指数函数：

k(x,x0) =σ0²*exp(-(x-x0)²/(2*λ²))

我有三个超参数来适应我的数据：来自协方差函数（σ和λ）的两个参数，以及来自假设我的数据是噪声的σ0。所以我只需要最小化负对数似然，对吗？

logp(y|X,θ) =1/2*t(y)*C(θ)^(−1)*y+1/2log|C(θ)|+(n/2)*log 2π

使用θ=(σ,λ,σ0)和C(θ)=K-σ0²*I

其中K是在我的x向量上应用k得到的协方差矩阵。

唯一的边界条件是参数需要为正。

但是，无论我使用什么优化算法，它都会失败，因为它直接进入-Inf。在几个小时之后，我认为我无法以适当的方式使用优化算法，我意识到它实际上很正常：

我的σ0和我的σ直接变为0，因为它给出K = 0，C = 0，所以det（C）= 0，所以我的负可能性变为-Inf。

这当然是无稽之谈，最适合数据的差异不能为0.但是我不知道我在这里做错了什么，特别是因为这个公式就像那样编写，现在我无法确定如何优化它可以提供除σ= 0 ...

以外的其他东西

我哪里错了？

Answer 1

如果您正在拟合内核密度或内核密度表面，那么您的代码完全可能没有“错误”。

在我看来，随着您的带宽接近于零，您的拟合曲面的对数似然性将会增加，您的拟合基本上接近您的事件中具有奇点的表面，而在其他任何地方都为零。从可能性的角度来看，这将构成一种“完美”的契合 - 尽管在计算上是灾难性的，并且在推论上毫无用处。

但从正面来看，这是星期五。