计算人工神经网络权值矩阵的熵？

Question

有没有人遇到过计算多层感知器重量矩阵熵的方法？

Answer 1

评估多层感知器的权重矩阵，然后计算该矩阵的熵。

一种方法可以是矩阵的Von Neumann熵。您可以在wikipedia.找到一般概述。您还可以查找其优化here.

编辑： Shannons熵是冯诺依曼熵的一个特例。从Shannons entropy开始，这很容易理解，最有可能满足您的需求。