Question

我尝试训练反向摆（类似于小车杆）问题的特工，这是强化学习的基准。我使用神经拟合Q迭代算法，该算法使用多层神经网络来评估Q函数。

我使用Keras.Sequential和tf.layers.dense分别构建神经网络，而其他所有东西都保持不变。但是，Keras给了我很好的结果，而张量流却没有。实际上，tensorflow完全无法正常工作，因为它的损失在增加，而且代理从培训中什么也学不到。

在这里，我介绍Keras的代码，如下所示

def build_model():
    model = Sequential()
    model.add(Dense(5, input_dim=3))
    model.add(Activation('sigmoid'))
    model.add(Dense(5))
    model.add(Activation('sigmoid'))
    model.add(Dense(1))
    model.add(Activation('sigmoid'))
    adam = Adam(lr=1E-3)
    model.compile(loss='mean_squared_error', optimizer=adam)
    return model

和tensorflow版本是

class NFQ_fit(object):
"""
neural network approximator for NFQ iteration
"""

def __init__(self, sess, N_feature, learning_rate=1E-3, batch_size=100):

    self.sess = sess
    self.N_feature = N_feature
    self.learning_rate = learning_rate
    self.batch_size = batch_size

    # DNN structure
    self.inputs = tf.placeholder(tf.float32, [None, N_feature], 'inputs')
    self.labels = tf.placeholder(tf.float32, [None, 1], 'labels')
    self.l1 = tf.layers.dense(inputs=self.inputs,
                         units=5,
                         activation=tf.sigmoid,
                         use_bias=True,
                         kernel_initializer=tf.truncated_normal_initializer(0.0, 1E-2),
                         bias_initializer=tf.constant_initializer(0.0),
                         kernel_regularizer=tf.contrib.layers.l2_regularizer(1E-4),
                         name='hidden-layer-1')
    self.l2 = tf.layers.dense(inputs=self.l1,
                         units=5,
                         activation=tf.sigmoid,
                         use_bias=True,
                         kernel_initializer=tf.truncated_normal_initializer(0.0, 1E-2),
                         bias_initializer=tf.constant_initializer(0.0),
                         kernel_regularizer=tf.contrib.layers.l2_regularizer(1E-4),
                         name='hidden-layer-2')
    self.outputs = tf.layers.dense(inputs=self.l2,
                                   units=1,
                                   activation=tf.sigmoid,
                                   use_bias=True,
                                   kernel_initializer=tf.truncated_normal_initializer(0.0, 1E-2),
                                   bias_initializer=tf.constant_initializer(0.0),
                                   kernel_regularizer=tf.contrib.layers.l2_regularizer(1E-4),
                                   name='outputs')
    # optimization
    # self.mean_loss = tf.losses.mean_squared_error(self.labels, self.outputs)
    self.mean_loss = tf.reduce_mean(tf.square(self.labels-self.outputs))
    self.regularization_loss = tf.losses.get_regularization_loss()
    self.loss = self.mean_loss # + self.regularization_loss
    self.train_op = tf.train.AdamOptimizer(learning_rate=self.learning_rate).minimize(self.loss)

两个模型相同。他们两个都有两个具有相同尺寸的隐藏层。我希望问题可能出在内核初始化上，但我不知道如何解决。

Answer 1

使用Keras很棒。如果您想要更好的TensorFlow集成，请查看tf.keras。如果Keras（或tf.keras）默认设置更好地工作，则没有特殊的原因使用tf.layers。

在这种情况下，glorot_uniform looks like the default initializer。这是also the global TensorFlow default，因此请考虑删除kernel_initializer参数，而不要在您的问题（或passing Glorot explicitly）中使用显式截断的常规初始化。

Tensorflow密集层比keras顺序更糟

1 个答案: