Nvidia计划将int8操作的硬件支持添加到他们的新titan卡和目标深度学习社区。我试图了解它的有用性和什么类型的网络将从这个和什么阶段（培训/推理等）中受益。
我知道FP16而不是FP32应该对DL有用，但不确定int8如何做。有些研究可以用完整的FP32精度进行训练，然后将其四舍五入到一个字节 - 但这不会加速或减少训练的内存占用。
他们可能基于一些论文或研究做出了这个决定（实施int8的硬件加速）。这些是什么？
答案 0 :(得分：0)
为了减少内存占用和计算开销，常见的方法（尤其是移动设备）是量化;然后会以整数形式发生。在这里阅读更多相关信息：