我正在尝试用神经网络作为函数逼近器来实现用于估计q *的情节半梯度Sarsa。 我的问题是：q（S，A，w）中的权重向量w是指神经网络中的权重吗？
请参阅： Sutton and Barto 第197/198页了解具体算法。
如果是：那么如何处理多层神经网络中存在多个权重向量的事实？
如果不是：我如何在算法中使用它？ 我的建议是将它附加到状态和动作a并将其插入神经网络以获得所选动作的状态近似值。这是对的吗？
如何确定权重向量的维数？
提前致谢！
答案 0 :(得分：1)
伪代码中的 w 并不一定只是一个权重向量。本章开头的文字确实将 w 称为“权重向量”几次，但伪代码本身仅提到 w 是a的参数。可微动作值函数逼近器。神经网络非常符合这种描述。
在神经网络的情况下，您可以将 w 视为所有权重矩阵的组合（或者;您可以将其视为通过展开所有权重构建的真正长的向量）将矩阵转换为单个向量）。您可以在 w 中查看执行更新的伪代码行作为神经网络中的常规反向传播，优化所有参数 w 以使预测q(S, A, w)稍微接近R + gamma*q(S', A', w)。
在 w 是由神经网络的展开权重矩阵组成的巨大向量的情况下，该单行伪代码基本上总结了整个反向传播过程。在实践中，它不能在单行代码中实现，因为网络的早期层的偏导数（该渐变的 - q向量的分量）依赖于靠近输出层的层中的偏导数，所以那些必须按顺序计算（如果您熟悉神经网络，那就是你所知道的反向传播）。