混合，带有多个标签的精度

Question

我想在具有大量类的数据集上使用混合精度的mxnet gluon训练模型。但是，类的数量超出了float16的限制，并且某些标签和预测为inf。我该如何解决？

Answer 1

您将要使用Float16和Float32的混合物（毕竟是混合精度训练！）。您的数据，标签和网络中的某些其他部分（例如exp和softmax）不应转换为Float16，否则，发现时会遇到Inf问题。我建议您检查MXNet AMP（自动混合精度）。参见this tutorial。