标准化嵌入和权重以进行印记权重训练?

时间:2020-09-18 20:41:32

标签: python tensorflow

我正在尝试使用paper: Low-Shot Learning with Imprinted Weights的低权重分类卷积网络的印记权重,其中指出

“与标准ConvNet分类器体系结构不同,我们在嵌入提取器的末尾添加了一个L2归一化层,以便 输出嵌入的单位长度,即||φ(x)|| 2 = 1“

以及

“ softmax分类器f(φ(x))将嵌入映射到未归一化的logit分数,然后进行softmax激活,从而在所有类别上产生概率分布,其中wi是归一化为单位长度的权重矩阵的第i列。在该层中没有使用任何偏见术语。

我目前用于嵌入规范化的是:

gdal

嵌入标准化是否起作用,或者我需要在lambda层中进行标准化吗? 我也不确定如何将预测层的权重标准化。我检查了tensorflow文档中的LayerNormalixation和WeightNormalization,但不确定是否是我想要的,并且不确定如何检查。

任何帮助将不胜感激。

0 个答案:

没有答案