Question

在bstriner的要旨（https://gist.github.com/bstriner/e1e011652b297d13b3ac3f99fd11b2bc#gistcomment-2310228）之后，我在Keras内为REINFORCE RL算法设置了自定义损失和自定义拟合方法，但是出现了上述错误。

有任何提示吗？

我正在尝试将Maxim Lapan的Pytorch REINFORCE RL代码调整为Keras。但是，y_pred和y_true自定义损失Keras要求并没有让我达到这个完美的PyTorch / Keras端口...

Class NN():
...
    def custom_loss(self, y_pred, y_true):
        log_prob = self.log_softmax(y_pred)
        log_prob_qvals = self.batch_qvals *     log_prob[range(len(self.batch_states)), y_true]
        loss = K.mean(log_prob_qvals * -1, axis=0)
        return loss

    def custom_fit(self, x, ytrue):
        print('FFP-BP = 1 gradient update')
        updates = self.optim.get_updates(
        loss=self.custom_loss, params=K.variable(self.net.trainable_weights))
        return K.function(input=[x, ytrue], outputs=[self.custom_loss], updates=updates)
...

当我用Pytorch的代码击中F5时，我的预期结果是（几乎）相同的结果：

    logits_v = net(states_v)
    log_prob_v = F.log_softmax(logits_v, dim=1)
    log_prob_actions_v = batch_qvals_v * \
            log_prob_v[range(len(batch_states)), batch_actions_t]
    loss_v = -log_prob_actions_v.mean()
    loss_v.backward()
    optimizer.step()

编辑1：检查时，在进行Python调试时，我可以看到正确计算了损失值。所以，我怀疑这与参数有关……

如何修复get_updates函数中的“形状必须相等”？

0 个答案: