Question

我正在尝试一起训练GPR模型和张量流模型。培训部分没有问题。但是为了使用训练有素的模型进行预测，我在tf.placeholder op中收到类型错误。

pred, uncp=sess.run([my, yv], feed_dict={X:xtr})

代码类似于https://gpflow.readthedocs.io/en/master/notebooks/advanced_usage.html

中的第二个示例

import numpy as np
import tensorflow as tf

import gpflow
float_type = gpflow.settings.float_type
gpflow.reset_default_graph_and_session()

def cnn_fn(x, output_dim):    
    out= tf.layers.dense(inputs=x, units=output_dim, activation=tf.nn.relu)
    print(out)    
    return out

N = 150
xtr = np.random.rand(N,1)
ytr = np.sin(12*xtr) + 0.66*np.cos(25*xtr) + np.random.randn(N,1)*0.1 + 3
xtr = np.random.rand(N,28)
print(xtr.shape, ytr.shape)
nepoch=50
gp_dim=xtr.shape[1]
print(gp_dim)
minibatch_size = 16

X = tf.placeholder(tf.float32, [None, gp_dim]) 
Y = tf.placeholder(tf.float32, [None, 1])

with tf.variable_scope('cnn'):
    f_X = tf.cast(cnn_fn(X, gp_dim), dtype=float_type)

k = gpflow.kernels.Matern52(gp_dim)
gp_model = gpflow.models.GPR(f_X, tf.cast(Y, dtype=float_type), k)

loss = -gp_model.likelihood_tensor
m, v = gp_model._build_predict(f_X)
my, yv = gp_model.likelihood.predict_mean_and_var(m, v)

with tf.variable_scope('adam'):
    opt_step = tf.train.AdamOptimizer(0.001).minimize(loss)

tf_vars = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='adam')
tf_vars += tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES, scope='cnn')

## initialize
sess = tf.Session()
sess.run(tf.variables_initializer(var_list=tf_vars))
gp_model.initialize(session=sess)

for i in range(nepoch):
    shind=np.array(range(len(xtr)))
    np.random.shuffle(shind)
    for j in range(int(len(xtr)/minibatch_size)):
        ind=shind[j*minibatch_size: (j+1)*minibatch_size]
        sess.run(opt_step, feed_dict={X:xtr[ind], Y:ytr[ind]})

执行上面的代码运行正常。但是添加以下行会出现错误：

 pred, uncp=sess.run([my, yv], feed_dict={X:xtr})

，出现以下错误：

<ipython-input-25-269715087df2> in <module>
----> 1 pred, uncp=sess.run([my, yv], feed_dict={X:xtr})

[...]

InvalidArgumentError: You must feed a value for placeholder tensor 'Placeholder_1' with dtype float and shape [?,1]
     [[node Placeholder_1 (defined at <ipython-input-24-39ccf45cd248>:2)  = Placeholder[dtype=DT_FLOAT, shape=[?,1], _device="/job:localhost/replica:0/task:0/device:GPU:0"]()]]

Answer 1

代码失败的原因是因为您实际上没有向占位符之一提供值。如果您实际上给他们起名字，这很容易发现：

X = tf.placeholder(tf.float32, [None, gp_dim], name='X') 
Y = tf.placeholder(tf.float32, [None, 1], name='Y')

Tensorflow需要对整个计算图进行良好定义，，并且您使用的GPR模型取决于X 和 Y 。如果运行以下行，它将正常工作：

pred, uncp = sess.run([my, yv], feed_dict={X: xtr, Y: ytr})

更新：正如 user1018464 在评论中指出的，您使用的是GPR模型，其中的预测直接取决于训练数据（例如，请参见http://www.gaussianprocess.org/gpml/chapters/RW2.pdf第16页上的公式（2.22）和（2.23）。因此，您需要同时传递xtr和ytr来进行预测。

诸如SVGP之类的其他模型通过“归纳特征”来表示功能，通常是“伪输入/输出”对来汇总数据，在这种情况下，您无需在以下位置输入原始输入值全部（我第一次回答时就弄错了。）

您可以按照以下步骤设置模型：

gp_model = gpflow.models.SVGP(f_X, tf.cast(Y, dtype=float_type), k, gpflow.likelihoods.Gaussian(), xtr.copy(), num_data=N)

然后pred, uncp=sess.run([my, yv], feed_dict={X:xtr})会按预期工作。

如果要在不同的点Xtest进行预测，则需要设置一个单独的占位符，然后重用cnn（请注意，variable_scope中的reuse=True具有相同的名称），例如笔记本2：

Xtest = tf.placeholder(tf.float32, [None, Mnist.input_dim], name='Xtest')

with tf.variable_scope('cnn', reuse=True):
    f_Xtest = tf.cast(cnn_fn(Xtest, gp_dim), dtype=float_type)

与使用f_X之前一样设置模型，但是在对f_Xtest的调用中使用_build_predict：

m, v = gp_model._build_predict(f_Xtest)
my, yv = gp_model.likelihood.predict_mean_and_var(m, v)

现在您需要将X，Y，和 Xtest都传入会话的run（）：

pred, uncp = sess.run([my, yv], feed_dict={X: xtr, Y: Ytr, Xtest: xtest})

其中xtest是具有要预测的点的numpy数组。

Answer 2

GPflow可以为您管理TensorFlow会话，而单独使用GPflow时，您无需创建自己的TF会话。就您而言，tf.layers.dense 新变量，应该对其进行初始化，我建议您使用由GPflow创建的会话。本质上，您需要替换这些行

## initialize
sess = tf.Session()
sess.run(tf.variables_initializer(var_list=tf_vars))
gp_model.initialize(session=sess)

具有：

sess = gpflow.get_default_session()
sess.run(tf.variables_initializer(var_list=tf_vars)

或使用默认会话上下文包装代码：

with tf.Session() as session:
    ... build and run

GP + Tensorflow培训

2 个答案: