作为大学工作的一部分，我必须实施一个培训程序，从根本上，根据给定层的输入和输出之间的熵测量，逐层训练MLP。
我在https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/utils_functions.py#L238-L264和https://github.com/pdoren/DeepEnsemble/blob/master/deepensemble/utils/cost_functions.py#L210-L237中成功找到了与correntropy相关的一些代码。但是，如果样本具有相同的大小，则只能使用此代码。
所以，我的问题是：我如何计算Theano中MLP层的输入和输出之间的熵？
答案 0 :(得分：0)
（1）Correntropy与交叉熵不同。它具有理想的MSE特性或局部交叉特性，但总体上具有L1 / 0特性，可以在距离上按比例调整异常值。 （2）后续提问者是正确的，你不是在输入到输出上计算你的误差度量，而是输出到实际（如何“远”是从基础事实预测）。
Keras允许创建自己的目标函数/距离指标。我还没有实现这些，但是当我在keras中使用correntropy作为目标函数寻找代码时，我发现了这些：
https://github.com/EderSantana/seya/blob/master/seya/regularizers.py
https://github.com/EderSantana/seya/blob/master/seya/objectives.py