Question

我正在尝试创建一个策略网络代理，以使用tensorflow.js和node播放井字游戏。

当我在游戏结束时进行训练时，会得到以下信息

Error: Cannot find a connection between any variable and the result of the loss function y=f(x). Please make sure the operations that use variables are inside the function f passed to minimize().

class NNModel {
  constructor(learning_rate = 0.01){
    this.learning_rate = learning_rate
    this.model = this.createModel()
  }

  train(actions, rewards, boards) {

    const optimizer = tf.train.rmsprop(this.learning_rate, 0.99)

    optimizer.minimize(() => {
      const oneHotLabels = tf.oneHot(actions, BOARD_SIZE).dataSync()
      const logits = this.model.predict(tf.tensor(boards)).dataSync()
      const crossEntropies = tf.losses.softmaxCrossEntropy(oneHotLabels, logits).asScalar()
      const loss = tf.tensor(rewards).mul(crossEntropies)
      return loss
    })
  }

  createModel() {
    const model = tf.sequential()

    model.add(
      tf.layers.dense({
        units: BOARD_SIZE * 3 * 9,
        activation: 'relu',
        inputShape: [BOARD_SIZE * 3]
      })
    )

    model.add(
      tf.layers.dense({
        units: BOARD_SIZE,
      })  
    )

    return model
  }
}

在我的SimplePolicyAgent中，作为每个移动步骤的一部分，我将板状态保存到日志中，使用模型来选择移动并将其保存到日志中。

在游戏结束时，我得到结果并创建一个与移动日志长度相同的列表，并根据游戏的结果获得奖励。

然后我用动作，奖励和公告板来调用训练功能。

我希望这一步可以更新模型权重，以便该模型更有可能在给定的董事会状态下选择获胜的举动。

我正在尝试模仿以下python实现

#loss
cross_entropies tf.losses.softmax_cross_entropy(one_hot_labels=tf.one_hot(actions, 7), logits=Ylogits)
loss = tf.reduce_sum(rewards * cross_entropies)

#training op
optimizer = tf.train.RMSPropOptimizer(learning_rate=0.001, decay=0.99)
train_op = optimizer.minimize(loss)

感谢您阅读我的问题

Answer 1

  train(actions, rewards, boards) {
    const optimizer = tf.train.rmsprop(this.learning_rate, 0.99)
    return optimizer.minimize(() => {
      const oneHotLabels = tf.oneHot(actions, BOARD_SIZE)
      const logits = this.model.predict(tf.tensor(boards))
      const crossEntropies = tf.losses.softmaxCrossEntropy(oneHotLabels, logits)
      const loss = tf.sum(tf.tensor(rewards).mul(crossEntropies)).asScalar()
      return loss
    })
  }

该代码现在可以正常运行了，我错误地将.dataSync()添加到oneHotLabels和logits中，而这些隐藏了最小化函数中的变量。

培训简单的政策代理人时遇到麻烦。错误：找不到任何变量与损失函数y = f（x）

1 个答案: