TF对象检测API混合精度

Question

我正在使用TensorFlow对象检测API在V100 GPU上训练检测模型。由于它具有张量核可用，是否有任何配置标志/ kwarg可用于打开混合精度训练？不知道这是否是当前功能。如果存在类似model_main.py --mixed的地方，那就太棒了。

Answer 1

昨天（5月16日），Nvidia展示了自动混合精度，该功能大大简化了此功能的实现，大大降低了工作量：只需添加一行代码即可。

似乎已经录制了网络广播，并且可以按需播放，同时在此处提供链接：

https://developer.nvidia.com/automatic-mixed-precision

https://devblogs.nvidia.com/nvidia-automatic-mixed-precision-tensorflow/

还讨论了实施MP / AMP时应避免的策略，工具和事项。

有一篇很棒的论文谈到了混合精度的实现（除其他外）。我已经准备了这4分钟的视频，总结了“具有高性能分布式计算的超级人工智能”研究

http://youtu.be/JvssZESVcjI）

根据Nvidia的说法，顺便说一句，MP可以在Volta和Turing GPU（即Google Collab使用Voltas V100！）和AMP（TF1.14上集成了自动混合精度）上有效地实现。