如何使用hdf5文件加速google-colab中的神经网络?

时间:2019-08-27 16:45:30

标签: tensorflow keras hdf5 google-colaboratory

我正在colab中训练一个keras神经网络,我想加快速度。这是我的code。在colab上,训练需要大约145秒/纪元,而在具有k20 GPU的服务器上,相同的神经网络则可以达到5秒/纪元。从我read的角度出发,最慢的培训原因可能是我的培训文件位于gdrive中,而从colab访问它们需要花费很多时间。据说,解决方案是使用文件格式hdf5对数据进行“内存映射”。在colab中训练速度慢似乎是一个常见问题,但是我找不到使用hdf5的任何代码解决方案。

我以前从未使用过hdf5,所以您能给我一些有关如何在代码中进行“映射”的代码示例吗?我们对加速培训的其他建议表示赞赏。我也尝试过:

  • 使用较大的batch_size= 256或512,但速度没有变化
  • 跳过ImageDataGenerator()中的图像增强,但这仅节省了25%的时间
  • 使用tf.distribute.cluster_resolver在多个GPU / TPU上分布,但是我收到错误消息“使用tf.distribute.Strategy编译的模型不支持fit_generator。”

预先感谢,答案应该对社区中的更多人有用!

0 个答案:

没有答案