Tensorflows量化感知训练是否会在训练期间导致实际加速？

Question

我们正在研究对研究项目使用量化意识培训，以确定培训期间量化对运行时收敛率的影响。尽管我们尚未完全确信这是正确的工具。您能否澄清以下几点： 1）如果在了解量化的训练过程中对一层进行了量化，则意味着对输入和权重进行了量化，并对包括激活函数在内的所有运算进行了量化，然后在返回之前将输出反量化为与下一层兼容的精度。这种理解正确吗？ 2）Tensorboard Profiler的兼容性？ 3）从原则上讲，量化意识训练是否会在您的一般经验中导致训练过程中的提速，或者仅凭模拟就不可能做到吗？ 4）您能否向我们介绍如何向tensorflow s.t添加自定义量化器和数据类型的资源。它们与GPU兼容吗？

非常感谢您的帮助！

Answer 1

进行一些研究后，QAT不会加快训练速度，而只是为训练后量化准备模型。但是，MuPPET是一种实际上可以通过量化加快训练速度的算法。