Microsoft CNTK自动区分

Question

根据Microsoft，CNTK包括自动区分。为了更好地理解源代码（我已经成功构建了源代码），我想知道哪些C ++类实现AD以及如何在CNTK中实现它。

Answer 1

CNTK类Function实现AD（确切地说，是通过Gradients方法）。神经网络表示为多个Function组成，例如 g（f（x））。然后像这样相对于 f 计算函数 g 的导数：

{