我在GPU上将TensorFlow和Keras结合使用,并且到目前为止一直成功完成。
当我在histogram_freq = x
的{{1}}中运行Tensorboard时,当x != 0
时Tensorboard写日志到GPU时,它在每个纪元末尾使用CPU进行GPU训练。我已经看到,这使训练速度降低了 5 倍!我可以确认这是原因,因为它是测试期间Tensorboard中使用的唯一参数。
此issue在前面的问题中已经提到过,但是与之不同的是,当验证数据通过数据生成器传递且未创建直方图时,就会出现它们的问题-不引用CPU或GPU。我没有使用数据生成器进行验证,并且直方图最终创建了。
是否有人知道有启用histogram_freq = 0
时阻止使用CPU的修复程序?
注意:
由Keras histogram_freq
进行的培训。
由fit_generator
传递的训练数据集。
传递验证数据集而不使用数据生成器。
修改
在ImageDataGenerator
时尝试向Tensorboard日志写入时,将Keras fit_generator
切换为fit
时崩溃,但在histogram_freq != 0
时运行良好。崩溃日志如下。注意它从GPU切换到CPU。也许这可以配合使用?
histogram_freq = 0