知识蒸馏是否取决于它是从哪一层蒸馏出来的？

Question

当我使用知识蒸馏时，我是从输出层进行蒸馏

但我看到了一些提取中间层的代码。

有什么区别？如果你有一篇论文来比较这两者，请告诉我。