Question

我有一个类，它有创建网络的方法。

class DQN:
    def __init__(self, session, input_size, output_size, name):
        .
        .
        .
        self._build_network()

    def _build_network(self, h_size=16, l_rate=0.01):
        with tf.variable_scope(self.net_name):
            self._X = tf.placeholder(tf.float32, [None, self.input_size], name="input_x")
            net = self._X
            net = tf.layers.dense(net, h_size, activation=lambda x: tf.maximum(0.3*x,x))
            net = tf.layers.dense(net, self.output_size) 
            self._Qpred = net

        self._Y = tf.placeholder(shape=[None, self.output_size], dtype=tf.float32)

        # Loss function
        with tf.name_scope("loss") as scope:
            self._loss = tf.reduce_mean(tf.square(self._Y - self._Qpred))
            self._loss_summary = tf.summary.scalar("loss", self._loss)

        # Learning
        self._train = tf.train.AdamOptimizer(learning_rate=l_rate).minimize(self._loss)

    def update(self, x_stack, y_stack, merged_summary):
        return self.session.run(
            [self._loss, self._train, merged_summary],
            feed_dict={
                self._X: x_stack,
                self._Y: y_stack,
            }
        )

必须创建两个DQN个实例（单独的网络）。

def main():
    with tf.Session() as sess:
        mainDQN = dqn.DQN(sess, input_size, output_size, name="main")
        targetDQN = dqn.DQN(sess, input_size, output_size, name="target")

        merged_summary = tf.summary.merge_all()
        writer = tf.summary.FileWriter("./logs/dqn_log")
        writer.add_graph(sess.graph) 
        .
        .
        .
        loss, _, summary = mainDQN.update(x_stack, y_stack, merged_summary)
        writer.add_summary(summary, global_step=episode)

我想要做的是跟踪mainDQN的{{1}}功能。但是使用上面的代码，调用loss时会出错。：

update()

我认为此错误与tensorflow.python.framework.errors_impl.InvalidArgumentError: You must feed a value for placeholder tensor 'target/input_x' with dtype float [[Node: target/input_x = Placeholder[dtype=DT_FLOAT, shape=[], _device="/job:localhost/replica:0/task:0/cpu:0"]()]] ...

有关

但不知道如何处理它。

需要你的建议，谢谢。

Answer 1

你是对的，问题与targetDQN对象有关。基本上发生的情况是，您的merged_summary是一个依赖于您的主loss和目标loss的操作。因此，当您询问其评估时，它将需要DQN的输入。

我建议以这种方式重构你的update函数：

def update(self, x_stack, y_stack):
    return self.session.run(
        [self._loss, self._train, self._loss_summary],
        feed_dict={
            self._X: x_stack,
            self._Y: y_stack,
        }
    )

因此您只需要评估正确的摘要。

编辑：如果您想要更多与DQN个对象关联的摘要，可以使用tf.summary.merge方法合并它们（请参阅API documentation）并询问其评估结果。< / p>

TensorFlow：如何为TensorBoard汇总两个对象网络？

1 个答案: