体验重播:随着数据库的增长,磁盘访问速度变慢

时间:2019-01-22 15:44:10

标签: python multithreading ram reinforcement-learning hard-drive

我正在python中实现基于HDD的体验重播(强化学习),并将其保存在numpy中,并使用线程从硬盘中采样批处理,以避免减慢主线程(学习算法)的速度。

使用简单的numpy.save()和numpy.load()似乎对于我来说已经足够快了,大约一个小时,主线程最多可以保存大约30000个体验(预期总数为1000000)不会出现任何减速,我将其配置为挂钟时间(在获取互斥锁上没有挂钟时间)。

但是,经过一段时间后,HDD的采样时间大大增加,主线程最多等待500毫秒等待下一批。

这种行为对我来说是完全陌生的,但是我已经在数台计算机上对其进行了多次测试,结果是一致的。

我意识到问题描述很模糊,但是我很难描述一个无法真正理解的问题。任何有关随着时间的流逝而放缓的原因的指针,将不胜感激。

谢谢!

0 个答案:

没有答案