批量q学习和增长批量q学习之间的差异

Question

我对批处理和增长批处理q学习之间的区别感到困惑。另外，如果我只有历史数据，我可以实现增长批量q学习吗？

谢谢！

Answer 1

在批量Q学习中，您只有历史数据，不可能在给定策略后获取新数据。相反，在不断增长的批量Q学习中，算法几乎相等，不同之处在于，在某些迭代中，您使用中间策略来获取更多数据，从而使用新数据（包含探索）来增加数据批量。

因此，如果您只有历史数据，则无法使用新数据增加批处理。即，在您的情况下，无法实现不断增长的批量Q学习。

您可以阅读本书第2章中的详细说明： Wiering，Marco，和Martijn van Otterlo，编辑。强化学习：最先进的技术。 2012.ª编辑Springer，2012。Link to the chapter