Tensorflow-gpu性能下降

时间:2018-04-05 01:20:01

标签: tensorflow

系统信息

  • 我是否编写了自定义代码:否
  • 操作系统平台和分发:Windows 10 64位
  • :二进制
  • 安装的TensorFlow
  • TensorFlow版本:1.6.0
  • Python版:3.6.3
  • CUDA / cuDNN版本:9.0
  • GPU型号和内存:GeForce GTX 780,3Gb

在Python中使用Keras和tensorflow-gpu后端。几天前工作正常,直到我遭遇巨大的性能下降。

当Tensorflow初始化时,它似乎都正常工作并且发现我的GPU正常。输出:

2018-04-05 02:08:32.791893: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1212] Found device 0 with properties: 
name: GeForce GTX 780 major: 3 minor: 5 memoryClockRate(GHz): 1.0195
pciBusID: 0000:01:00.0
totalMemory: 3.00GiB freeMemory: 2.46GiB
2018-04-05 02:08:32.792360: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:1312] Adding visible gpu devices: 0
2018-04-05 02:08:33.132555: I C:\tf_jenkins\workspace\rel-win\M\windows-gpu\PY\36\tensorflow\core\common_runtime\gpu\gpu_device.cc:993] Creating TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 2187 MB memory) -> physical GPU (device: 0, name: GeForce GTX 780, pci bus id: 0000:01:00.0, compute capability: 3.5)

但是之前在相同数据上使用完全相同的模型,每个时期大约需要2-3秒,现在需要大约17秒。

我查看了任务管理器,我的IDE显示使用GPU引擎 - “GPU 0 - 复制”。同样在每个时代的开始,GPU将在约70%负载下持续大约一秒钟,但随后负载切换到我的CPU和内存大约剩余的15秒左右,GPU又回到其空闲负载大约2%。

关于这里发生了什么的任何想法?

如果我能提供更多信息,请告诉我

0 个答案:

没有答案