N维GP回归

Question

我正在尝试使用GPflow进行多维回归。但是我对均值和方差的形状感到困惑。 例如：应该预测形状为（20,20）的二维输入空间X。我的训练样本的形状为（8,2），这意味着在两个维度上总共有8个训练样本。 y值的形状为（8,1），这当然意味着每2个输入维的组合有一个地面真实值。 如果现在使用model.predict_y（X），则我希望收到形状为（20,20）的均值，但获得形状为（20,1）。方差也一样。我认为这个问题来自y值的形状，但我不知道如何解决。

bound = 3
num = 20
X = np.random.uniform(-bound, bound, (num,num))
print(X_sample.shape)  # (8,2)
print(Y_sample.shape)  # (8,1)
k = gpflow.kernels.RBF(input_dim=2)
m = gpflow.models.GPR(X_sample, Y_sample, kern=k)
m.likelihood.variance = sigma_n
m.compile()
gpflow.train.ScipyOptimizer().minimize(m)
mean, var = m.predict_y(X)
print(mean.shape)  # (20, 1)
print(var.shape)  # (20, 1)

Answer 1

听起来您可能对输入位置的网格形状和numpy数组的形状感到困惑：如果要在二维的20 x 20网格上进行预测，则总共有400个点有2个值。因此，X（传递给m.predict_y()的那个）的形状应为（400，2）。 （请注意，第二维必须具有与X_sample相同的形状！） 要构造此形状数组（400,2），您可以使用np.meshgrid（例如，参见What is the purpose of meshgrid in Python / NumPy?）。

m.predict_y(X)仅预测每个测试点的边际量，因此返回的mean和var的形状均为（400,1）（长度相同）如X）。当然，您可以将它们重塑为网格上的20 x 20值。

（也可以计算完整的协方差，对于潜在的f，它可以实现为m.predict_f_full_cov，对于形状为（400,2）的X，它会返回400x400矩阵。来自GP的一致样本，但我怀疑这远远超出了这个问题。）

Answer 2

我确实犯了一个错误，就是没有将数组弄平，这反过来又产生了错误。感谢您对STJ的快速响应！

这是工作代码的示例：

# Generate data
bound = 3.
x1 = np.linspace(-bound, bound, num)
x2 = np.linspace(-bound, bound, num)
x1_mesh,x2_mesh = np.meshgrid(x1, x2)
X = np.dstack([x1_mesh, x2_mesh]).reshape(-1, 2)
z = f(x1_mesh, x2_mesh) # evaluation of the function on the grid

# Draw samples from feature vectors and function by a given index
size = 2
np.random.seed(1991)
index = np.random.choice(range(len(x1)), size=(size,X.ndim), replace=False)
samples = utils.sampleFeature([x1,x2], index)
X1_sample = samples[0]
X2_sample = samples[1]  
X_sample = np.column_stack((X1_sample, X2_sample))
Y_sample = utils.samplefromFunc(f=z, ind=index)



# Change noise parameter
sigma_n = 0.0
# Construct models with initial guess
k = gpflow.kernels.RBF(2,active_dims=[0,1], lengthscales=1.0,ARD=True)
m = gpflow.models.GPR(X_sample, Y_sample, kern=k)
m.likelihood.variance = sigma_n
m.compile()

#print(X.shape)
mean, var = m.predict_y(X)
mean_square = mean.reshape(x1_mesh.shape) # Shape: (num,num)
var_square = var.reshape(x1_mesh.shape) # Shape: (num,num)

# Plot mean
fig = plt.figure(figsize=(16, 12))
ax = plt.axes(projection='3d')
ax.plot_surface(x1_mesh, x2_mesh, mean_square, cmap=cm.viridis, linewidth=0.5, antialiased=True, alpha=0.8)
cbar = ax.contourf(x1_mesh, x2_mesh, mean_square, zdir='z', offset=offset, cmap=cm.viridis, antialiased=True)
ax.scatter3D(X1_sample, X2_sample, offset, marker='o',edgecolors='k', color='r', s=150)
fig.colorbar(cbar)


for t in ax.zaxis.get_major_ticks(): t.label.set_fontsize(fontsize_ticks)
ax.set_title("$\mu(x_1,x_2)$", fontsize=fontsize_title)
ax.set_xlabel("\n$x_1$", fontsize=fontsize_label)
ax.set_ylabel("\n$x_2$", fontsize=fontsize_label)
ax.set_zlabel('\n\n$\mu(x_1,x_2)$', fontsize=fontsize_label)
plt.xticks(fontsize=fontsize_ticks)
plt.yticks(fontsize=fontsize_ticks)
plt.xlim(left=-bound, right=bound)
plt.ylim(bottom=-bound, top=bound)
ax.set_zlim3d(offset,np.max(z))

导致的

（红色点是从该函数绘制的采样点）。注意：代码从未如此重构过：)