一定次数后，深度Q-Learning Agent的性能下降

Question

我有一个DQN代理，该代理在特定的网络上受过培训以执行任务。但是，当培训代理时，我注意到在最初的次数之后，代理显示出任务分数总体上有所增长，突然之间代理的性能急剧下降，就像它重新开始一样。这发生了很多次。

我的代理显示从坏到好等的性能波动。对于DQN代理，这是正常现象吗？我应该执行什么诊断才能消除这种波动？我曾为代理使用经验重播和探索开发。我是该领域的新手，所以这个问题可能很简单。

Answer 1

这些波动是正常的，直到达到最佳水平。在大多数加固实验和论文中，结果以window size of 15-30的加权平均值表示。这是我的dqn实现的图。