如何计算自动微分的计算复杂度？

Question

我正在使用在Pytorch中实现的自动网格来训练神经网络，我需要计算整个算法的计算复杂度。在哪里可以找到有关自动毕业证书计算复杂度的完整计算？我在Pytorch文档中进行了搜索，但没有找到任何答案。 谢谢

Answer 1

在这种情况下，这取决于您如何计算复杂度。每个forward操作都与它各自的backward操作配对（返回关于网络最后一个节点的导数，通常是成本函数）。

如果将每个操作视为一个单元，则向前和向后将是两个单元，本质上不会改变任何复杂性，否则它取决于神经网络的类型及其内部的操作。