Tensorflow，OpenAI Gym，Keras-rl有关基本强化学习示例的性能问题

Question

我正在进行强化学习，但是我在表现方面遇到了麻烦。

情况，无自定义代码：

• 我在Google Cloud上加载了Google深度学习VM（https://console.cloud.google.com/marketplace/details/click-to-deploy-images/deeplearning）。随NVidia K80视频卡一起安装了所有必备组件（CUDA，cuDNN，驱动程序）。
• 已安装keras-rl，OpenAI gym
• 现在，当我在第46行运行带有visualize = False的（标准）示例dqn_cartpole.py时，它使用了大约20％的GPU，每秒大约执行100步，这比使用我的Razer Blade 15（i7-8750H）上的CPU。
• 我检查了所有可以想到的瓶颈，CPU使用率，内存和HD I / O都正常。

请帮助！

预先感谢

Answer 1

这不一定是问题。就性能而言，使用GPU并非免费的，而且并不总是比CPU快。由于并非所有内容都在GPU上运行（例如，健身房环境本身仍在CPU上运行），因此您确实会产生“通信成本”（例如，在GPU之间来回移动内存）。只有真正使用好GPU才值得。

现在，GPU也不一定比CPU快。 GPU非常擅长并行执行许多相似的计算。例如，这对于大型矩阵之间的矩阵乘法是必要的，而在训练大型深层神经网络时，这种乘法确实经常发生。如果您只需要相对少量的可以并行执行的计算，并且大多数情况下只有顺序代码，那么GPU肯定会比CPU慢（您提到的CPU相当强大）。

现在，如果我查看构建神经网络（starting from line 22）所链接的代码部分，那看起来就像是一个很小的神经网络。仅有几层，每层16个节点。这不是一个巨大的神经网络，卷积层之后是大型（例如数百个节点）完全连接的层（对于像Cartpole这样的小问题，它可能确实过大了）。因此，只使用20％的GPU（当然，因为相乘的矩阵太小，根本不能并行使用更多的GPU）当然就不足为奇了，并且不一定会比简单的慢也可以在CPU上运行。